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本 书 介 绍 非 线性 规划 的 主要 笋 值 方法 与 理论 。 韦 
中 许多 章节 是 基于 作者 的 博士 论 交 及 作者 近年 来 前 
科研 成 果 。 它 包括 无 约 昌 优化 、 二 次 规划 、 非 线性 约 
RAL AARC iL SA eee RA, Bp eR 
TAATIRAA EAA R, oO. (FRR. HX 
HA BE; ee Be EL A EA UE SEE. 
Barzilai-Borwein RSF HEI OR REESE, ety 
绍 了 非 线性 规划 的 主要 经 典 方法 , p, BE See 
度 法 、 牛 顿 落 、 拟 和 牛顿 法 、 脖 步 二 次 规划 法 、 既 约 樟 
度 法 等 等 涉 下 这 些 常用 方法 的 最 新 进展 。 

ARS RES SE, SAT SSR LAER 
BEMER EAT ARR, SIA TABI. HATE 
参考 文献 ， UARA EHAAn] 

ABE PEAY ACTER EASA PD LR MESE 
蒜 应 用 的 工程 技术 人 人员 的 参考 蔬 ， 也 可 作为 研究 生 各 
六 学 高 年 级 学 生 的 教材 。 
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从 六 十 年 代 起 ， 由 华罗庚 教授 任 主编 的 < 现代 数学 丛书 > 编辑 
委员 会 曾 组 织 编 著 ， 并 出 我 社 出 版 了 多 部 具有 很 嵩 水 平 的 数学 学 
本 专著 , 有 上 几 部 专著 并 已 在 国外 出 了 外 文 版 , 受到 国内 外 数学 界 和 和 
UREAN REEN, 获得 了 很 高 的 评价 eos TEN B. 
废 直 、 吴 新 谋 三 位 教授 虽 已 先后 逝世 , 但 他 们 为 本 < 从 书 ?所 作 册 的 
贡献 迄今 仍 为 人 们 所 敬 仲 、 怀 念 ， 由 于 某 些 客观 原因 ，< 现 代数 学 
JB» ES IB RT FE 82 -— REOR i 

AJ GEEDSMGECEBQGSIEGARGE. CERIS BLA Fe pi Nro ST JL 
年 的 优秀 研究 成 果 ， 必 须 大 力 如 强 < 珊 代数 学 从 书 > 的 规划 、 编 辑 、 
HELE ERMRSSM AM, SRARPARESAS, By 
I dg Sa zz FONDS lis RR FARRA] BTR BR Wa, F 
1990 F 14 3S See TS AE Fb TE Ae BY SE ee oe 
带头 人 , 建立 了 新 的 编 雪 会 , FEE — SH AT A ABA SRB. 

“现代 数学 丛书 > 新 的 编辑 委员 会 由 劳 步 青 教 授 任 各 SER 
合 超 豪 教授 枉 主 编 ， 十 八 位 著名 数学 家 任 委 员 ， 编 委 会 负责 推荐 
《或 审定 ) 选 题 和 作者 , 主持 书稿 的 审核 等 工作 ， 

<BR AR BS DATS > BY os Bee 向 国内 外 介绍 我 国 比 较 成 熟 的 .对 
学 科 和 发 展 方 和 有 引导 作用 的 、 国 内 第 一 流水 平 的 数学 研究 成 果 , 反 
映 我 国 数学 研究 的 特色 和 和 优势, 扩大 我 国 数学 研究 成 果 的 影响 , 促 
进 学 科 的 发 展 和 国内 外 的 学 术 交 流 . 

A4 T 3:34 EXRo Bo 本 丛书 将 陆续 组 织 出 版 在 基础 数学 .点 用 
数学 和 计算 数学 方面 处 于 学 科 发 展 前 油 、 有 创 多 有 旦 具有 系统 完整 
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研究 成 果 的 现代 数学 学 术 专 闭 . 

为 出 版 好 * 现 代数 学 从 书 :， 我 们 热切 地 捧 望 着 数学 异 各 位 专 
罕 的 大 力 支 持 和 悉心 指导 ， 并 欢迎 广大 读者 提出 宝贵 的 建议 和 意 
dh. 
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PREMIERAMEN FARFA. CELH, H 
防 、 经 济 等 许多 重要 领域 有 着 广泛 的 应用 . Ee OK, 非 线性 
规划 一 直 基 一 个 十 分 活路 的 研究 领域 ， 本 书 总 结 了 作者 近年 来 的 
科研 结果 (研究 工作 曾 得 到 国家 自然 科学 基金 资助 )， 且 系统 地 介 
经 了 国际 上 主要 前 非 线 性 规划 计算 方法 及 共 理 论 ， 

非 线 性 规划 从 七 十 年 代 起 新 是 数学 规划 中 最 受 重 视 的 分 到 
之 -一 .特别 生变 兵 度 自 法 的 兴起 使 国际 上 泪 现 出 来 如 Foweil 
Fletcher, Dennis 等 一 批 著名 的 非 线性 规划 专家 .和 近 衬 来 ， 求 解 
大 规模 优化 问题 前 SQP TENREM, 使 得 非 线 狂 规 划 计 算 方 
法 成 为 大 规模 科研 与 工程 计算 有 的 一 个 重要 方 回 ， 八 十 年 代 切 期 兴 
起 的 信 禹 域 法 已 是 非 线 狂 规 划 的 一 个 十 分 热 万 的 研究 课题 ， 它 进 
一 步 促 进 了 非 线 性 规划 前 研究 与 应 用 . 

我 国 关于 非 线 性 规划 的 研究 起 始 于 1970 年 . 当时 , m SEP Be 
教授 领导 的 中 国 科学 院 数 学 研究 所 运筹 研 究 室 对 忧 化 方法 进行 研 
究 , 应 用 和 推广 ”尔后 , RA BEI A IPSE URBC, AS US 
对 非 线 性 规划 进行 了 天 其 风 科研， 目前 我 们 已 有 一 大 批 从 事 非 线 
性 规划 研究 的 专业 估 员 .在 应 用 方面 ， 继 华罗庚 教授 推广 优选 法 
之 后 , 钱 令 希 , 张 可 村 、 局 济 等 教授 又 做 了 许多 工作 ; 已 取得 不 少佐 
秀 的 成 采 . 

本 书 的 许多 章节 是 基于 作者 的 博士 论文 以 及 作者 近年 来 的 科 
研 结果 .第 二 章 绽 出 的 一 个 不 需要 计算 二 阶 导数 的 平方 监 敏 方 
法 ; 第 三 音 给 出 的 Barzilai-Borwein 梯度 法 的 超 线 性 收 数 性 和 关 
FHH pz B3 £2 PDC CXE HE iE E A 第 四 章 给 出 的 精确 接 
PER EA ER RPA. Broyden J& EU BIE 8 E 


1 CAT 


ii ELE XE 4+ Broyden gP3ECDPFP 方法 除外 ) 的 整体 收 剑 性， 第 八 
章 的 求解 线性 约束 问题 的 信和 芍 域 法 ; 第 九 党 提出 的 一 个 NQP 方法 
‘第 9.3 节 }) 和 一 个 信赖 域 方 法 (第 9.5 节 } 以 及 关于 既 约 海 色 阵 方 
法 的 一 快 一 慢 收 化 特 征 ( 第 9.5 WO RA R EE 
优 作 信箱 域 法 前 一 系列 结果 都 是 作者 或 作者 Powell, Byrd 和 
Nocedal 等 教授 合作 完成 的 研究 结果 . 

本 书 是 一 本 学 术 性 专著 ， 介 绍 了 当今 国际 上 非 钱 性 规划 前 沿 
的 研究 成 果 . 引用 了 大 量 的 较 新 的 参考 文献 , 以 提供 希望 进一步 研 
究 的 同行 们 参考 ， 本 书本 作为 广大 非 线 性 规划 研究 人 员 以 及 从 事 
实际 应 用 的 工程 技术 人 员 前 参考 书 ， 也 可 作为 研究 生 或 大 学 高 年 
级 学 生前 教材 

由 于 作者 长 期 在 国外 , 本 书 对 国内 的 优秀 工作 介绍 不 多 , 但 愿 
在 以 后 再 版 时 能 弥补 这 一 不 足 ， 另 外 , 限于 作者 的 水 平 , 书 中 可 能 
有 不 加 或 错误 之 处 , 族 请 广大 读者 批评 指正 . 

我 想 借 此 机 会 对 我 的 博士 论文 指导 导师 .英国 皇家 学 会 会 员 、 
便桥 大 学 前 M. J.D. Powell 教授 表示 元 心 的 感谢 ， 我 在 非 线 性 
规划 方面 所 取得 的 科研 成 果 都 和 他 的 指导 与 世 励 是 分 不 开 的 .我 
非常 感谢 中 国 科 学 院 学 部 委员 、 中 国 科 学 院 计 算 中 心 名 誉 主任 汉 
康 教 授 多 年 来 对 我 的 关心 和 培养 感谢 中 国 科 学 院 计算 中 心 石 钟 
兹 、 赵 风 治 等 老师 对 我 写 这 本 书 的 鼓励 ， 本 书 前 部 分 书稿 是 作者 
于 1990 年 9 月 至 1991 年 8 月 访问 美国 完成 的 ， 记 以 我 还 感谢 美 
国 科 罗拉 多 大 学 Boulder 分 校 的 Richavd H. Byrd 教授 和 美国 
西北 大 学 的 Jorge Nocedal 教授 在 我 访问 他 们 学 校 期 癌 提 人 殿 的 a 
好 工作 条 人 性 以 及 友好 的 很 有 成 效 的 科研 台 作 ， 北京 计算 机 学 院 
席 少 霸 数 授 审阅 了 本 书 ， 提 出 了 宝贵 的 章 见 和 建议 ， 我 向 他 者 示 
识 切 的 谢意 最后， 我 感谢 我 的 爱人 也是 我 的 同事 王 兢 娟 多 年 来 
ARKEA., FRA A Se ee 

X dm 
1992 年 3 月 于 
市 男科 学 院 计 算 中 心 
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min f(x); (1.1.1) 
a.t. C,(2) —0 (@=1, B, ++, ma); (1.1.2) 
OO (=m,+1, --, m). (1.1.3) 


ToD E O,(z)($—1, 2, --, m) 都 是 定义 在 E^ AAR, APB 
AP — APA ARSE re, m m. SEI FE Di EEG HO Eom 
ma S8. t. 是 英文 apbject OAT LOS. fio) PR E ARA A, 
Oo =l, 9, -, m) SION HAAR, (1.1.2) 0 (1.1.8) RAH 
Ret. WMEAKRSRAHARATHA, HAAR ABEGL 
可 行 域 ; 记 为 LX. BR, 
X æ {em 0 =Í, +) ma OD 0, bem tl, = m}. 
(1.1.4) 

AA EE X OL.1.40,. RATRERETRIE (1.1.1) (1.1.30 08 Rm F B 
X. 

min fi). (1.1.5) 
34 m=O 时 , [EHE CT 1.1) (1.1.3) JE RARKKA RR, 否则， 是 


ARMA. EAR, MRRP SAK, BE m 
me 一 0， 则 称 为 等 式 约 来 优化 问题 。 BPR ER AHA 


3 绪 È [=— 
IR AR RTE ASO KARIRA.. D ~ (1.1.3) € —4- 
线性 约束 优化 问题 . 

非 线性 规划 这 一 名 词 是 再 Kuhn 和 Tucker(1950) RARE 
来 的 .但 非 钱 性 规划 问题 早已 有 之 , 例如 Sylvester(1857) 5E H] 
在 平面 上 上 拒 一 个 包含 去 个 给 定点 的 最 小 圆 的 问题 ， 它 可 写成 如 下 
Bo (AL: 

min f(a) & max lz— ayia, (1.1.6) 


HP lel RRR, v=, 2.50 站) 是 平面 上 的 不 个 给 定 
RA. BSR, (1.1.6) B] i o* ER, f(w") 是 所 求 圆 的 半 
te. 

3E 2 t£ Hi £2 301 cy [8] 86 UTER JR TF JAN RK, 即 


min fm) Ao» D — 1^ (1.1.7) 


其 中 4E R”, we E($—1, 2, e, N) EXE o 是 特定 参数 ， 
ple, tO Fi — JPRS, E ERER HE BS EX EIE, Boe 
(1.1.7) ye, Bü] 
y(t) =p(a", t) (1.1.8) 
use MBL Ae“) 35 ER CG, yi) ($—1, 2, ^, NV AFL 2r HH Ze 
RRR AMY BRS Le Bo. 经济 ,管理 等 许 密 重 
这 领域 ,在 结构 设计 、 化 学 及 应 设计 、 BHR, 石油 开采 等 方面 
都 有 直 反 的 应用 ， 非 线性 规划 计算 方法 还 和 计算 数学 中 的 数值 带 
近 . 常 微分 方程 数值 解 、 忆 微 分 方程 中 的 变 分 原理 , 微分 方程 反 演 
忆 及 非 线 性 代数 方程 数值 解 等 分 支 和 问题 有 交叉 和 和 应用. 
UMLL1L Bote X. Mat 5808 
Fie) =f (a), 26 X {| Bla", $Y 4a}, (1.1.9) 
WR ct AES OL.1.1) (1.1.25 Bg Ej i d, 其 中 
Bia", 8) = (ol |o —a* jas}. (1.1.10) 
AD RO .1.9) OR a SROUT Wan BUPRcGERPS GRAL 
iÈ, 
E112 Beate xX, We 


$1.2) mi tE $ y 3 


fimff, 2€ X fa". (1.1.11) 
APER" EMAL. ~ LDR tA A. WRA 
式 对 严格 不 等 号 ”> 成立, DER r Bb A Pe 
全 局 极 小 慎 也 被 称 作 总 体 拉 小 值 . 从 定 光 可 知 ， 全 局 ( 严 覆 ) 
TE ^ MEL E der ig CR ED Ro fg 
;EX 1.1.8 HEH rE R, RIER 
A(z)— EUI) (1.1.12) 
EAs &RHRBES, 其 中 E-i(1,23, es. mh I= {mtl e 
my bi Js 
Tew) = iil Oa) E0, $C I]. (1.1.13) 
我 们 称 O.(2) ($C A (2) EAs d ES RERO LG (GG A (o) 
Rea sb RIL RR, 


$1.2. BRKT aE 


WTAE ee xX, E RRT, RS XU Be", 85 
HAASE A. 所 以 ， 通 过 验证 人 .1.9) 来 判别 2 是否 是 优化 
fa] EC 1.1.1) — (L.1.9) BS RE JLSE HE 2 n1 8889, SEDLTE AE UE RE 
— XE 2& £F FR (E.1.90 S5 p A p. eR RO T H i BS ÉCRU 
级 宁 函 数 在 半点 的 性 质 . 

对 于 无 约束 问题 , 显然 有 以 下 定理 ; 

定理 1..1 假设 作 是 无 约束 间 题 (1.1.1 上 的 局 部 极 小 点， 
f(t a SPOT, 则 必 有 


Vf(s')—0; (1.2.1) 
an f (ole vo” Sb ie np D 
dT 7*f( 2") d=>0 (1.2.2) 


WEY ac Re AR. 

EA 1.2.1 4k — "4X VE SERE, ELSE IBUCE ah T A E 
的 条 件 ， 满 足 (1.2.1) 的 后 称 为 还 数 f(z) 的 稳定 点 .从 上 述 可 知 ， 
只 要 目标 联 数 可 微 ， 局 部 极 小 点 必 是 稳定 点 、 于 面 的 定理 给 出 稳 


4 ko d [第 -** 
AU AE BLU RTI RAT ATE. 
E 1.2.2. 假设 foe x" OMT, WR at de fx) 
的 称 定 点 且 对 任何 非 零 向 重 4E E^ 有 
d?7*f (a dG, (1.2.8) 
则 ac" dé 6 ZAR IRR CL I.) ENDE RU TERI. 
£L ES ae BB Se BH TARA, Hm Taylor BEJT BB uj, 
px JA RE. 
RERNE BAR. MA, upfrBe bp— A RETA 
S ov BAP R p ARER Ju ELETYEVE ER Bx) PETI R& 83 AL. 
Pi ELS aT ty 20 3253 03 WT $723 [RE AY XE XL. 
EE w 1.2.8 BRS ECX, d€R, WETE 6>0 eA 
z*--idc X, VEE [0, 8], (1.2.4) 
We d HX FE c* ARN DT ipa, X XE zt SPA $7 2j p) HU 
集合 记 为 PD a", X). 
IE 1.2.& Boca qe PERS 
LFD(z*, X)—id. |d'vO,(z")-—0, €€ E, 


dT 70,(2*) 2-0, dE I(a*)} (1.2.5) 
WX Hc 外 的 线性 化 可 行 方向 集会， 如 果 98ELFD(Ce*, X), Ml 
A te X TE oc OY Baa A, 


:EX 1.2.0 HEX, RNR 
SED(z*, £) = {d| dhd, -Hre X, 8&0, 4,0) 
(1.2.6) 
Hy X Feo AAPA Pipe aR a WR ACSPD(a"*, X), Wp d 
E X FE ao” Sb ARP eT Ap oy 
RB EM, FFs BART, 
引 理 1.2.6 MERAH AR ARE ^ CY 处 可 微 , 则 有 
FD(a*, X)CSFD(z', X)CLFD(z", X), (1.2.7) 
3138 1.2.7 bo EHEC.. D (1.1.9289 RR FR o E, 
Ju hA 
dU'yf(z')m0, Vdc SED(s*, X). (1.2.8) 


81.2) EC FF 5 


WAR HREM 1.3.5, SE d@CSED(2", X), HE 4,0, 
hod. $E ett hE X, AA wr 是 局 部 极 小 点 , PRO Rak 
的 总 , 必 有 


f(a" + irde) zo f (2"), (1.2.9) 
BUT f(s)TE o SEAT GR, 从 (i.2.9) 可 知 
Spat vy f C2") Fold) 0, (1.2.10) 


Bi 5:0 H 0.0. XE Ex A ER ELS. Ja, S boo, BH n fH 
(1.2.8). | 

下 面 的 引 理 是 由 Farkas(1902) £3 1l If, CER Farkas 5[38. 
由 于 它 在 形式 上 是 线性 方程 组 及 组 性 不 等 式 组 (1.2.11) 
(1.2.13) $0£& PE de 353 (1.2 14) 3X Hd pF — 1 BL. — t. 
3X. Br ELE S [ BR th Bes 3E — PE 3] og 

51:5 1.2.8 el, UV REAR, a, m($—1. 3. E) 
Hi5,(6—1, 2, +, DP) K^ 中 的 向 量 , 则 线性 方程 组 及 不 等 式 组 


d"G;—0 ($1, 2, ++, D), (1.2.11) 
d'b;m0 ($-1,9,--, D), (1.2.13) 
d gD (1.3.13) 


7 88 234 HL (C04 存在 实数 ACG = 1, d, 5 DAERA u$ -—1, 2, 
ib P), TUE 


I a 
Go 一 之 Ait 十 > Pbi, (1.2.14) 


WEER jE (1.2.14) 成 wv, H. mæ i=], "tts F), a E 
(4.2.12) (1.2.12) Rr, 则 


; p 
d gy -> Ad], -- pà mtb 0, (1.2.15) 


BU (1.2.18 Awe. Ai (1.2.21) ~ (1.2.18) 2588. 
PRE (1.2.14) p BI BE Re. ELER 


8-1« Lip Ait + S pubi, NER, p01. (1.2.16) 


RRS EE PHAGE, BT oo ES, TRAE TZ SP BT EAS S 
集 分 离 定理 , 必 存 在 GC R 和 ach, 使 得 
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(人 (1.3.17) 
HF OES, BEL 
d'ay 20. (1.2.18) 
X] fE fI 270, EP »5,C S, 从 而 
Ad B. a. (1.2.19) 
TE E. Tél ANSE 32 A SS S 2 + 0o, 即 得 
d'b;-0 (4-1, 2, =, 0. (1.2.20) 


RFE A>O, BWA sae S, —AGes, fe] LA LGE d7a,>0 和 
d^(—gG)z0. HOA 
d'a=0 (4=1, 2, =, D, (1.2.21) 
Brb(1.2.11 (1.2.19) 9. — B 
利用 Karkas 3| EAIM 1.2.7, np uE BH— Er ob ze fF. 
Œ 21.2.9 KRuhbn-Tucker 定理 ) i s" RE (1.1.1) ~ 
CL.I.20BJ— P ar SEDE En. 如 果 


SFD(o*, X)-LFD(m, X), (1.2.29) 
新 存在 (—1,2,- modi 

Ifa") = > AIO, (1.2.28) 

M0, AO. (a*) 06€ E). (1.2.24) 

证 明 Hga 2H 1.2.'7 35835(1.2.22)0 I ZX VE RAI AE SCEH 
G30 (ae = ($c E), (1.2.25) 

CO (eo eo Ge I"), (1.2.26) 

dg f(a") <0 (1.2.27) 


A. MSH 1.2.8 可知， 存在 NGECE) M MEIE 
Vio") = XX Oan) M we O(a"), (1.2.38) 
4 Ap-O0(GGCI Iz), 即 知 坟 .2,23) ~ (1.2.94) f or. i 
与 (1.2.23) 30 ey 8E DR ERE 7 a X 


Lz, 2) =f (8) -390(2) =f (2) -E rOle). 
(1.2.29) 


$21.2} Mm RR P T 


其 中 A = (Aa, Ut Am) E R^, C(a) = (Ola), t4 Ca(m))*. 由 
于 这 一 函数 的 思想 可 追溯 到 Lagrange(1760~1761), 帮 它 被 称 为 
Lagrange & a; Ail, =, m) RPA Lagrange $F, HF 
Jf 1.2.9 J£ Kuhn fl Tucker (1951) Z3 Hi ij, 我 们 给 出 如 于 定 立 : 

定义 1.2.10 mRoeX HEX (OL. OCR N 
E (1.2.23) ~(1.2.24), M # c" Æ [p] Ei (1.1.1) — (1.1.3) HS] 
Kuhn-Tucker 4 (fi K-T 4). 

因为 Karush(1939) 也 类 似 地 考虑 了 约束 优化 的 最 优 性 条 件 ， 
所 以 也 有 人 将 定理 1.2.9 Hy Karush-Kuhn-Tucker 定理 ， 把 
K-T ARA E-K-T A. 

Em 1.2.9 中 的 条 件 (1.2.22) 称 为 约束 规范 条 件 .Mangas- 
arian 和 了 Fromowitgkl967) 提 出 另 一 个 约束 规范 条 性， 


CC 线性 和 无关， (1.2.30) 
S*= (did VO. (a*) =0, é€ E, d^ vO,(a") 7-0, 
EIER, (1.2.31) 
并 且 给 出 了 下 面 的 定理 ， 


x3 1.9.11 在 定理 1.2.9 中 ， 将 条 件 (1.2.22) X 
(1.2.80) (1.2.31), 必要 性 条 件 (1.2.23) ~ (1.3.24) 仍 然 成 立 . 
证 明 WdeS*, d0, HFE dhil, e, m—m,—-LDAR 
span{ Oila) «+, VOS (5), 直 的 法 空间 的 一 规 正 交 基 .考虑 


带 和 参数 的 非 线 性 代数 方程 组 ; 
O(e)-0 =1,:, me), (1.2.32) 
di(z—2*)—-0 (é-1,--,m-—m.—1), (1.2.33) 
d^ (mo—a") —8-—0, (1.2.34) 


由 了 于 该 方程 组 在 =o 处 的 Jacobi 4pIEXe dE dE SERBY, 3818 Bu 
定理 , 对 充分 小 的 0, 必 在 在 解 xz 一 zt HW E 

z' (8) | geo —d. (1.2.35) 
Vie Ita), A d VOe) 0, i24 07-0 充分 小 时 ; BA 

O(a) ) >9, 
Mel e(PDE XO>0, ORS). KE, 0, h — O(k—oo), H. 
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c(0,) € X, 由 定义 1.2.5 和 关系 式 (1 .2.35) 即 向 


dESFD(a", X). (1.2.36) 
由 于 dcs 的 任意 性 , RNA A 
S'cCSFD(x*, X). (1.2.37) 
AHA 1.2.7 以 及 上 式 可 得 
d'f (a) 20, Yde S, (1.2.38) 
故 避 有 有 
df lw 0, vdcO18*, (1.2.39) 


其 中 O19* og OS" SB. dp T 8 JES, 481€ Rockafellar(1970) 
中 前 定理 6.5 rpg 
OLS" = (d |a VO) =0, ec E, 
dO m0, àé€ I(g")). (1.2.40) 
A (1.2.89) (1.2.40) HRH T BAR AR Fh (1.2.25) ~ 
(1.2.27) FOR. 故 知 存在 NGS, 2, c m) GIU XE E ZR TF 
(1.2.28) — (1.2.2405 I YF, ] 

— 4 I (1.2.30) ~ (1.2.81) St v8 Ay 29 AE SR 1E JE: 

VO) (GC HUL(2")) RRR. — (1.3.41) 
ER, S) I(a€)— D B, (1.2.4) $80 (1.2.80) —- (1.2.91) Sf; 23 
I(z')w( Ww. m Farkas 引 理 不 难 证 明 当 VON ($c EU 
IRER, S* — ERS. WA bb P eR, 

E 32 1.2.19 在 定理 1.2.9 rp, BAK (1.2.23) BE 
(1.2.41), AB dE FE (1.2.33) — (1.2.24) {A iE. 

PRA AR ALE AREE (1.2.4) 易于 检验 , 所 以 定理 1.23.12 是 一 
个 最 币 见 前 也 是 最 有 用 的 关于 一 阶 最 优 福 条 件 的 结 宁 ， 

下 而 两 个 定理 是 众所周知 移 ( 见 Fletcher，14981)， 此 二 定理 
E TAWBAImN—BDD3SEAR PER EX KH. 

TH 1.2.18 He fis) Om) (6-1, ++, m) E c" 附近 两 
RESET WR 是 问题 (C1.1.D) (01.1.3) JEDER DE EB 
VO (6C EU I(s*)) 线性 无 关 , 出 必 存 在 各 ,使 得 (1.2.23) ~ 
(1.2.34) Mar, 且 


$1.3] T Heg ok 9 
dabila, M'dz0, YdE S(m), (1.2.42) 
其 中 
8 )-i(dida0, d'7 =O, mec ek, 
Ag 20, d'vO(z2 20, vécl(s)) (1.2.48) 

EH 1.2.14 ike f(m), C; (m) ($ —1, t'y mJ SE zc X fi 
Xr PS UK XE BE oi, 如 果 存 在 FRCL .2 23) ~ 1.2.24) Mov, H 

a Vella", Mjd>0, VdEN v), (1.2.44) 
则 z* DEPE.. (1.1.3 BI EE EAR I. 

TEE du EDORXASLIRTET. HERAT XGA EAE EGLI 
EL dE EE RF CI Guignard, 1982; Mc Cormick, 1983), 5 
外 , 高 院 的 最 优 性 条 性 也 再 给 出 (如 Lempio 和 Zowe, 1982), 

WR fw), C(z (6 —1,2, +++, mide £X n Sc, Ml Se FF «2. 22) 
在 尾 僻 可 行 点 都 满足 这 时 , 5X 01.2.42) 48 f X ar, Br EL. 在 这 种 
SRE, K-T 点 一 证 是 局 部 极 小 点 .因为 目标 函数 是 线性 
qj. Fy Fy A, et E-T AED EE EARP m. 

从 而 可 知 ; EF BEY AE SE FE XS fa (2.1) ~ (1.1.3), € 
B-A K-T A et A BCA RE oo” 处 线性 化 后 的 一 个 极 小 
A. BRU in Emu XE 有 &- 了 后 附近 我 到 一 个 比 et 更 好 的 点 ( 即 具 
7H 3^ ELS BR CERE DAA), RTA fF) R O(a} G= 
L c m) 的 二 醇 导数 BE, AAS BOOK AR np d.~ 
(1.1.80 B] READERS AROS. 所 以 , 对 于 这 些 方法 找 
到 了 K-T RASA. 


$1.3 方法 概述 


SRE RAG RE (1.1.1) ~ (1.1.3) AHRR ERR. BU 
E EAP BR oc B^, Ra a EE Pree RRA a (=, 3, e), 
希望 某 一 个 加 是 玉 - 工 点 或 者 加 (天 一 1 2, + ee T-A K-T 
具有 一 个 变 重 的 优化 问题 的 计算 方法 是 忧 化 计算 方法 补 最 基 


10 itt $È [第 - 章 


ALA. B PE BY Se EE 我 们 将 在 第 二 全 对 其 单独 讨论 . 

对 于 多 维 优 化 问题 , 更 有 的 计算 万 潜 梧 分 为 两 大 类: 一 类 是 线 
搜索 (Line search) J ik. 35 — 25 Ri [ii Ei d; (trust region) 方法 

£x ARIS HRdEdChE OW]. WEWERE H- BAR. CAA 
本 思想 是 ; 在 每 次 近代 中 , SR POE RY] 一 般 说 来 搜 
BAW 可 看 成 十 某 个 近似 问题 的 解 。 我 们 称 该 近似 问题 为 子 
je] 48, “Ee Ae RE A A ks zx EA PP. 算法 然后 在 
方向 x 上 我 一 个 “好 ”后 ; ERE SOK PEK 0e > O, FER zy, + 
aud XE— PRM PR SAR. EOF PSR Giga = OH 
OX iE AST RIA. 

RARA PEAY Zoe du HPEH ow 的 选取 .搜索 方向 d, 
WP ERT TRAE. 为 了 合身 法 有 效 ， 无 颖 要求 子 问 题 
具有 容易 求解 和 较 好 她 各 近 原 间 题 等 竹 质 . 2 i oy, Be Oe 
于 沫 种 一 维 搜索 技 厨 和 某 一 评价 函数 (marit function), BTA 
为 评价 函数 的 值 您 小 前 点 意 “* 好 ”~， 在 无 约束 的 情形 ， 显 然 评 价 责 
数 可 取 成 目标 函数 f(x). AACR IE, TEE BSEC 71 
i} (Penalty function), EMT Hb B S (e) RA 2 
B Oe) 人 一 二 23. som), 

(AMUIRTER: RRR NE. EMA RR, MER 
h, cR—4 REUS, BBR BUZE TUER m 为 中 心 的 一 个 小 邻 
R., 在 并 车 域 上 求解 一 个 子 问 题 ， 我 们 称 解 己 为 武 探 菠 (trial 
step), la Al HPP RE] SOR IC ERP RABY 
下 一 次 送 代 的 信赖 域 ， 如 末 试 探 步 被 接受 , 刚 anime +o, 28 Bl, 
w=, PNA KDR TRAP. MRE ge, 如 
RRR, WRAL REE RAT A, qua SR 
小 . 

为 了 局 子 问 题 便于 求解 ， 信 天 域 名 各 是 以 AP, De 
Bee 4,0 为 半径 的 一 个 广义 球 {2; eal Hm E 
n. 维 罕 间 的 某 一 范 数 . Ea 一 般 取 为 网 T 35 Br p. Ha» ieia 4 
llie. ZEB: FMR IET VS fF 12 


61.4) i CREE ET a id it 


Bp X zh. 

XT fé BUS TES BE SEE UA HERE RT IM. BRE ea 
OAT REAR TE OM, 应 用 也 没有 线 搜索 法 广泛 ， 但 是 , 由 于 它 有 
袍 强 的 站 伍 性 和 可 靠 性 ， 近 年 来 对 它 的 研究 吸引 了 不 少 饥 化 专家 
和 学 者 , 它 必 将 受到 访 来 越 多 的 人 的 重视 , 

饶 化 计算 方法 还 根据 算法 所 需 计算 且 标 函数 以 及 约束 函数 的 
E ACA Ft A REAR RRA. BRP iH A 
任何 导数 的 方法 , 顾名思义, 非 直接 法 是 措 所 有 不 是 直接 法 的 方法 

直接 法 由 于 不 血 要 计算 任何 导数 ， 具 有 简单 易 用 的 优点 ， 因 
为 大 量 的 实际 问题 中 导数 相当 难 求 甚 至 无 法 求 ， 所 以 直接 法 的 应 
用 十 分 广泛 . 但 是 , 由 于 直接 法 不 依赖 导数 , 对 它 的 理论 性 质 进行 
分 析 比 较 困 难 .、 而 且 在 Powell (1964) Hii Jig Jj 18] 15 Ji EE He 0S 
就 没有 本 质 性 的 进展 . 随 着 计算 机 的 飞速 发 展 ， 近 年 来 人 们 对 大 
规模 优化 问题 的 兴趣 越 来 越 大 .而 对 于 大 规模 问题 ， 一 般 很 难 求 
T BI RE RAP, 工作 量 也 相当 大 , 所 以 对 直接 法 的 赋 究 将 受到 重 
KHEM. 

在 非 直接 法 中 , 除 少量 方法 (如 牛顿 法 ) 外 , REDO m BHi 
与 一 阶 导 数值 ， 由 于 非 直接 法 依 束 导数， 和 直接 法 相 比 可 得 到 更 
BW ORT RABE PE. Huw- 251B RR ee, H 
法 ， 在 七 十 年 代 关 于 它 的 收敛 性 得 到 了 不 少 优秀 的 结果 . EA 
前 关于 拟 牛 顿 法 的 理论 分 析 困 难 很 大 ， 一 是 没有 新 的 技巧 来 进行 
理论 分 析 , 再 就 十 遗留 下 来 的 问题 都 是 难度 很 大 的 问题 ， 为 外 , 3 
来 想 构造 出 比 BEGS 方法 好 得 多 的 所 牛顿 法 似乎 是 不 可 能 的 . 关 
于 非 直 接 法 的 研究 要 取得 突破 性 进展 ， 必 须要 有 新 的 思想 或 新 的 
技巧 出 现 才 有 可 能 . 


$1.4. Bee ae EE 


优化 计算 方法 的 收 人 证 性 与 收敛 速度 是 优化 方法 的 重要 性 质 ， 
给 定 一 个 算法 和 初始 点 oo PERRI] (k=l, 4, ---) eT 


12 =e GB tx» M 


于 一 个 区 -全 点 ?如 果 政 化 icd Uu BER per 这 些 问题 无 疑 是 方 
PEREIRA, AE, RAT uot edic ic en d 
速度 的 一 些 定义 

EB (b=1, 2, -)J—X X, A X EEG 1.1) 
—(1.1.8)8p 区 -全 点 所 组 成 的 集合 ， 我 们 用 


dist (a, Y) 一 if le—F la (1.4.1) 

表示 点 w BES Y AREEN, 

eM1L4.1 可 时 

lim inf dist(2,, X) =0, (1.4.8) 

我 们 则 称 ox Fo a X. dE 
lim dist(ay, X)-0, (1.4.3) 

WEE o. BL p X. FETE atc X 使 得 

lim =s", (1.4.4) 


Kk 


Ws cu BIRT X. 

PE V np AH, Su Eus C. Spe decr rSv, lia 
TRAT K-T BRS X, WHE 670, ee Fis IK (2 ELE K- 
THz(cX, PB lon. —vlelle<s, B CPGESG)RBK-T Z% 
忻 得 到 满足 , WE mr A K-T RHE ERAH 6 UR 
Ae RA) AS ERAT Ro. Sm PY, 
ACRE Eh Ala a, 即 当 K-T 条 忻 在 一 定 误差 范围 
入 得 到 满足 就 停 正 讨 算 , 则 算 法 必定 会 有 限 终 目 . 

TWIGS, FRA noa, Se, —]a,—a"]s, d 
PR, oy WOT o" ARP eye PAT ORE. BEA Talk = 
1, 2, … 肖 是 某 一 优化 计算 方法 所 产生 , WS b Bayo", M 
BIET k RERE. PUR Be Te ICA a> 
0. FAAS suEH RE JE di Ortega A Rheinboldt(1970) 
IT.) 

EZ 143 Xj Pc[ +a), 我 们 称 


$1,4] Hr Sh se er ON 13 


km . 


为 点 列 os AY db ilk oe P. uf Q- B] Ts BR 
limsupel^, if p-1, 
B=| t7 


Q, — Jim sup M (1.4.5) 


lim sup s/h, df pl 


Fy om B RUE A, PK A- AT. 
定义 工 . 人 .3 我 们 称 
(ao 一 inft p; PE [L co) B. Qo — +0} (1.4.7) 
为 点 列 oy AY EG HK Sc Dr. 简称 Qe 3c Bhs 称 
Og-—inf(p, pe [1, co) H. 五 一 十 (1.4.8) 
yO RP oy, RGR Sp. RR Bak oe Br. 

REX 144 WME Qi 一 0， 则 称 史 是 入 -起 线性 收效 子 a^; 如 
T 0«Q,« 1, 则 称 ey Ji Q— Berka 2, mE Qi, Ro, i 
Ci ak Bi EE dac Ow, 

EX 1.4.0 WE H,-—0, WR o, de E-A8 OE JCSC T a^. 如 
B O0<R <i, DER a, E RA A T o dp BL - 1. WRK o, E 
R-k PEE CT c. 

EX 1.4.0 WE qQ.—0, 则 称 n AORTA dk 2k o", e 
OQ too, WR oa FEO Pada ot; dn 由 一 二 cc WR 
ty de Qk Hoke F oct. 

EX 1.4." in B.—0, WER a RAB PRK a; 如 
DO BO 1, MER a E R-E rta «udin Rom 1, Wb PR, 
R-k FFA T oe, 

Ag 5 1.4.6 miT, 可 定义 R- fü Q—- 3r. 其 
AE, SLAY A, oy Q- 38 Zx PEE RF c^ Sp PRE 


li Pyri a O 

lim TTT 0, (1.4.9) 
ifi (1.4.9.4 

Jim +1 "1a 0 (1.4.10) 


kau [Cg — trpila 


id tB È [mA 
Eira. MAALISTA WHF OHA EMC A AI ye = 
1, 3, °°), AUR |r oils 已 相当 小 时 AU ferria] 是 一 个 
高 阶 无 穷 小 ， 

利用 Qira Bf Bie oe Bray E XS BY LAGER LP EDGE 
5]38 1.4.8 XE T — d 9 AA ee EM CRA AT EH R- 
Hee Be E, 即 
Og Ü s. (1.4.11) 
T 5| X MN HERR RJ I, Ortega 和 Eheinboldt(1970). 
在 以 后 各 章 ; RAPT PB, PVE RE ek, Eg EE TENI 


化 以 及 平方 收 化 分 别 是 指 Q-X ENSE. Q BRERA 他 -平方 
Ce. 


一 维 优 化 方法 


一 给 优化 是 求解 一 个 单 蛮 量 函 数 的 极 小 值 , BE 
min f(a), (2.0.1) 


其 中 大 的 是 定义 在 实数 上 的 非 线性 务 数 . 一 维 优化 问题 是 最 简单 
的 非 线性 规划 问题 ， 故 一 维 优 化 方法 是 非 线性 规划 方法 中 最 基本 
AY, thee SEM. PAR SRS PALER DU ETC S S E 
47 — 218 55, BPR a Habe BY ET EOULOR E — “Te E PRI EE — 3E 
TZA LA RMA m EER eS — ET ee BE 
58] 4 PEGE th, 记 以 对 简单 的 单 变量 问题 (2.0.1) 的 算法 的 研究 是 有 
BEES XN. 

假定 flo) 连续 可 微 ， 由 引 理 1.2.1 540]580(2.0.1) HT RED 78 


EXER, RI 
fi ta) =0. (2.0.2) 


在 求解 一 维 优 化 问题 的 方法 由， 有 些 是 基于 直接 求解 42.0.1, 而 
有 些 方法 的 思想 却 是 基于 求 (2.0.23) 的 根 ， 


$2.1 牛顿 法 


牛顿 法 是 一 个 基于 求解 (2.0.3) 的 方法 , 它 之 所 以 被 称 为 牛顿 
法 是 因为 这 一 方法 可 济源 到 牛顿 提出 的 求 多 项 式 根 的 一 个 方法 . 
手 辐 方法 的 思想 可 从 下 例 中 看 到 . 
假定 我 们 要 计算 v2, 它 是 多 项 式 
gia 2 (2.1.1) 
的 根 ， 设 \ 一 1 十 s, 代入 上 式 得 


16 — fk Ut; 2€ [^ x 


1+2% -He =2, (2.1.2) 
由 于 iucb5S$mpss Exi es 项 , 即 得 
azzÓ0.b. (2.1.3) 


从 而 得 到 /2 1--0.5—1.5, fn XR mE E NE AEH V2, 
4 2 1.5--s, 同上 可 得 
2.25-r3s--8^—2. (2.1.4) 
所 以 ss —0.25/8. Am “2 -1.5—0.25/8—1.416, BBR 
步 又 , 可 求 得 任意 畏 度 的 -/2 的 近似 值 . 
不 难看 出 ， 对 于 一 般 的 多 项 式 PO) WR oy Ht Plo) =0 IN 
— APT RUE, 牛顿 法 的 诅 想 是 设想 为 on te, 从 而 可 得 
P(a,+4) = P(um) +P (ay) 8 +0687) «0, (2.1.5) 
会 去 高 阶 误 差 项 OCe*)， HM es—Pla,)/P' lon), EBA LR 
为 
tert = Oy — Play) / P (ax), (2.1.68) 
ARS TSAR AY FAMA te] EY BSR ARSE RE TBI. 我 们 
EH. MH ju] E 2.0. 2 82483 T 86 E 4h IRE BY 41-3 ZE. 
算法 2.1.1 
Zl Hi r PE 8-1, 
步 3 tH flee), J (ae). 
步 3 in a=, 则 停止 计算 ， 
Pepa = X. — f QUa)/ f (Ex). (2.1.7) 
ki = h--1, && 3 2. 
E PEAY — TE ex JE BC BE, 
xE3B 2.1.2. d f(a) CC, fia") —-0, f"(a7) 560, WIE a, 7E 
4) Sei a BTA ayo” H 


| Bey — |/ |a e" |—0, (2.1.8) 
in JR f'"(z)Jé Holder 连续 , AE e—0, HEB 
|f" (a) — P" (n) | M ay", (2.1.9) 


sl 
jena 2^ | / |a a | M, (2.1.10) 


&2 1] 午 EN i 


eH ke, LE P(e) € CP, Wl 
| x41 — m" | = OC |o —-a*]*), (2.1.11) 
WEBB HARARE (2 $0, 我 们 可 得 
eg @ ay, — 9 — f'()/ f^ (mv) 


mayat [f (a) +f" Pod f" (ee) 


= 人 Cf" (ax) ~ (0) ado/ me), 2.1.19) 
因为 f(e) E03 以 及 f(a") 40, 必 存 在 8 >0, 使 得 
G0 — f (YS FO (2.1.13) 
HER ©. yE [2*—5, a^ 5] AR, FEH ua KS, A 
有 
lepi — < 3 los] «8. (2.1.14) 


从 而 可 知 , 当 jaa KS 时， 有 aat eh) 3, dino. 


fi ELI RIEN (2.1.120.. f" (0) 0 以 及 关于 (的 其 他 和 假定 可 证 
AR (2.1.8) (2.2.10) FI(2.1.11), g 
TEREF] oy, > a, WR ERE ee, WI a EE 
Bj 必 存 在 一 小 于 工 的 正常 数 至， 使 得 
| ayaa — 2" | SM lo, — "| (2.1.15) 
S-DSRS AUN biu. mniRx2.1.8) m. BER v 
局 得 
[Dra E| =O jama] T), (2.1.16) 
则 不 难看 出 zx 的 QM RE OAR AS oe, 

WEB 21.209, KENMERKE, FHKE 
Lüge. xp RAE FQ). RAAB ETE BR TITEL] A e Cox E 
AE. 

32.1.8 i$ f(a)CO?, f"(2) —-0, H f'" ORES, 则 对 
TERIS mo XXI 2.1.1 yo BAI ev MHRA IET fle) n 
— PR BS E— b ayo) RA RR x. 


la 


— FE GLIA TA P O R 


对 于 一 般 的 非 线 性 函数 O ER 2.1.1 4X EE — 4 RE 


法 , 即 要 求 初 始点 死 分 苇 近 某 一 稳定 点 ， 给 定 同样 的 官 始 所 , 该 算 
法 应 用 到 minf(s)fl min — (s) AP 43H I] RJ kx Sl BA TAD e BY 
BEN SUT 00 的 极 大 全 点 .下 面 ， 我 们 缘 出 一 个 全 局 的 牛顿 算 


法 . 


Biz 2.1.4 
wl qma Be, 50 给 定居 一 十 
WA HA foo fO 
dp Nf (mx) 96 0. USS HB 4, 
BUR fU") 0, Wi 5. 
A §:=8. 
步 3 §:=8/2, 
MR f(y, + 8) f (ay). Bü He 2b 8s 
Prey = Ly + Ô; 
ki = b--1, 4635 2. 
步 4 B= Ff" Cau), WMR Bs 0, 则 Si 1; 
oy = 1, 
jp5 WFR 
Fay of (ax) / By) SF (m; E [f' (ay) ]^/ By. 
(2.1.17) 
Wise 2p 6; 
Oy? =a, / 2, FEA D, 
7b 6 Pia = by — Og f (y) / Bees 
ki= ktl, $6 9, 
如 时 算法 进入 步 3 WU PCa) =O, f" (2,) 0, 从 而 对 充分 


小 的 和 >0, 必定 有 F(ay+5)< flex), BASE 3 是 有 限 终止 的 ， 在 
Oe, A f(a) 40, 利用 Taylor Fe FF BI EBA (2.1.17) 3E es 7, 
分 小 时 一 定 成 立 , 所 以 在 步 5 中 也 不 会 出 现 无 窃 循 环 . 


E 


AUT uEBARRE2.1.4 BUSES FSP Saal 


$2.1] fO 48 法 i9 
53E 2.1.5 dt f()cGO, Bx SS FSM., d 
果 存 在 COR, «70, aE (0, 1), 4 
fla—af'(@)) > fla) —eal f (2217, (2.1.18) 


UU wh | 
a7 2(1—06)/ M, (2.1.19) 


证 明 ”只 需 利用 估计 式 
J(a—of' (2)) f(2) ^ aL f(a) 12+ 3p E fe)" 
(2.1.20) 

以 及 72.1.18) 即 可 得 到 站 论 (2.1.19)、 B 

定理 2.1.6 (/(0€0' Xk2.1.4 PUER ARE ov ER 
如 果 算 法 有 限 终止 于 zw W 了 (wy) —0, f" (3) 20, BI, 对 mm 的 
FE— 8H a^ MP f'o) 一 0, f" (7) 20. 

证 明 显而易见 , UL HEB P UI Mf’ (ae) =O, 
f" (ay) 290, 

我 们 假定 z 是 算法 2.1.4 产生 的 无 穷 点 列 且 zx€ [wm 可 (一 
1,2,-). 4 M= max |f") lt, 首先 ,我 们 有 


3 ， 
ow/ Bp (VE). (2.1.91) 


DOES ay, =L, 由 于 By 所 A Ay PL (2.1.21) m SE, 
AF on, BA A217) oy, PR 2e. 后 不 成 立 ， 利 用 引 理 
2.1.5, n[f8 


2, By>2(1— 1.) / M. (2.1.22) 
MapupA2.1.21)J8: 35, POL, FA (2.1.17) 2.1.21) HI HE 
Bl, 如 果 eua 是 由 步 6 纵 出 ; 则 必 有 

FG Fm) er lie) (2.1.23) 
因此 可 得 16 

Lf) J^ -3- MTfGx) — f(2y44)]. (2.1.24) 
pups tie AN EZ Ga, NH F (am) =(), T 3X (2.1.24) 48 成 


a0 —H" oom HE [HE 
立 ， 因 为 nml, 2, …) 有 界 , 且 SAATE. 
SF ls 3 二 Me) — f(9«)1« 09. 


(2.1.25) 
所 以 
lim f(y) =0, (2.1.26) 
Wt at Fk o, inp EE 3-91 ov, 的 极限 点 , 81(2.1.20) By 
f' (a*) «0, (2.1.27) 
不 失 一 般 性 , BBE 
| Bin... | |a — ml, Ve, (2.1.28) 
(2.1.27) 8(2.1.28) EA Fu, D f (o) 可 证 
f" (a") 20, (2.1.29) 


AMPA ERM. —— B 

Bie 2.1.4 SOR f(y) =0 才 停 秆 计算 , BM, EGATXSAVE 
Xd PRATER, 给 定 一 个 容许 误差 8 一 0, 当 0 e), me By, BD 
Bj £L. 


$2.2 BM 线 法 


A: te Fg Se TE CE AS Fa S 3G BU 
f") e Pn) =f Cr! (2 2,1) 


从 牛顿 法 机 导出 下 面 的 达 代 公式 ， 


割 线 法 的 基本 进 代 就 是 用 (3.2.23) 式 ， 它 在 几何 土 是 求 通过 
(trea f CP) ) ,CD F (om) ) 两 点 的 曲线 y= 六 (o) ERI ER) eke AY 
B. Be SME, o He fie) Ww BP (o") 20, FE at Bt 
近 , xb PA AA rst; 


$2.31 X] £ 法 21 


ate gu gt PD) (Ou 0-1) 
Pyri ty — c Cy Pa C» TF GS 
Fu pug U (8 Gea cf) - (era) (mx 2")] 
hk - y-t f"(a*) m n 
FG Asl 9 (zx — 2*) (2-3 — a") 
+OC (ay — z* )?| v, 1 — e^ | + (æra) ay — a*|) | 
- FD (0a) (an1a) Fem lal. 
(2.2.3) 
Ti Ex, 34r] BY E AEE 6-0, 34 tte (a — 8, 2° +8) H Qus, 
Ec," MH 


ae | = Balaa" me el, 2.2.4) 
其 中 
pro Ar| +00), (2.2.5) 


为 了 导出 割 组 法 的 收 伍 速度 , 我 们 给 出 如 下 引 理 : 
2.2.1 B aroe, 2, 是 一 趋 于 0 的 数列 且 注 


hd 
81 77 BryerBy—1 (2.2.0) 
其 中 
B> P*O, (2.3.7) 
Uil] ^ ER 
lim Eppa, Bk = (gy, (2.2.8) 


v= (5 -H1)/2 是 方程 P=t+1 Ba, 
证 明 M(2.2.7) Wy 
Ig er = lB 8y + lE ay-1+ 1g Pa. (2.2.9) 
AHA r =r-+1, 2 
lger — Tee — — gx — 71g bys] +1g fs. 
(2.2.10) 
TA cw—lg8&i— Tlges HT AoA", v1, MC2.2.10) AT 


"a 一 维 代 化 方法 LZ 
Al. (B= 1, 2, -bE Aara ELS E 


1 
Nari N= — Z ie Mma) +Ig est (2.2.11) 


上 


于 是 eine, [BERE meron dem BER aS, 因为 ma 
0, 必 有 aon", Bm JA (2.2. 10) 20 [48 


"= -=n +1g8*, (2.2.12) 
所 以 i 
nf =— Ig e". (2.2.13) 
由 于 Ti ATE — WM ECT E) TCI Thy Woe H 
lim m= = lg &*. (2.2.14) 
lim Sg. 1/ Sx = lim e*= (3*5 7, (2,2.15) 


所 以 引 理 成 立 . E 

AIE 2.2.1 0D] 3X (2.2.4) $054 (2. 2. B) T A, 如 果 f" (ut) 
#0, H3 oa 六 za 充分 甘 近 了 时， 割 线 法 产生 的 点 列 网 必 超 线性 
Weer o*, H 


lim | ay — £i _ f m) 


mE ue eee, 


m un if * (2.2.16) 
ka |p o" | af" Ca") 
M EZRA), BUR + Bika x". uid Eg 
化 得 慢 ， 利 用 (2.4,.13) 陈 ,可 证 明 , 对 于 牛顿 污 , 极限 


jar — or _ fF" (2%) 
lim lay — m" |? 27" (a) 1° (2.2.17) 


Raz. MUH k RAKE HAREA T fe. 


lc 


1-18 
. P" (gt) a a aw 
| ez 一 | 07 a | a, —a*| *^, 
COD, 
(2.2.18) 
而 对 牛顿 法 , 有 
| fF) l4TN(N-I) ETT 
| Sagar we | FTES D — | m 


(2.2.19) 


$ 2.2] a ih 法 23 


所 以 ， 当 下 充分 天时， 要 使 a, —o* OE SES ZRIEBDm T. 
UN. mE BIER KR Na 2 E Na Nasar, {Ade BM 
CRRA RRS f(a), MERA BBA f. 
J'(Qwo. FRU, FRE RERRABRMARS ri. Tru 
者 一 个 例子 ; 


min —se* (2.2.20) 
re 8 


Je) 88 (2.2. 20 AME A RN 0" — 1. RRR ei 0, FH ACIE 
(2.1.7) A c4 —0.5, 所 以 , 用 制 线 法 时 ， 取 四 一 0， 220.5, 下 
#2 2.2.1 给 出 牛顿 法 (2.1.7) 和 割 线 法 (3.3.3) 的 迁 代 过 程 . 为 
T CT Ho ge dic HE, 在 过 中 内 给 出 解 与 迷 代 点 之 差 lee. RTS 
Ze ik WY Se PE 


fx) 19 0.5 X10, (2.2.31) 
表 2.2.1 FRRSPREMER:. f(z)—-—ce* 
(9.1.7) 

1l —z4 i.ü (11.6 
l rya 0.5 0D 
1-1 0, 16666666 2,2236670 
T— ftg 0, 98800584 x 10-1 0.10118747 
1-— rg 0.553700806 x 10-3 Db. 93937656 x 10-2 
1— zz 0,30642403 x 10-5 0 23778164 x 10-7 
T— ri O.0889T112 x 10-75 | 0.58768359 x 10-4 
jJ — fa 站 15829958 x 10-4 
] — za 0, 65750708 x 10-11 


M# 2.2.1 可 知 ， 牛顿 法 只 需 6 KE, MRE 8 REI. 

生 模 法 计算 通 数 导数 、 二 阶 导 数 的 次 数 与 割 线 法 计算 函数 导数 的 

次 数 之 比 为 (2X 人 /8 一 1.5, 这 与 我 们 所 入 计 的 比值 相差 不 大 . 
牛顿 法 (2.1. 站 产生 的 mus JEXL AL 0 2X 


f) m fn) (n) (22) 3 f (as) (2 m): f() 


(2.2.22) 
的 稳定 点 ， 当 f" (m0 POR, oa BRA RBM (OE my 点 的 二 


34 一 维 优 化 方法 DEL 
阶 泰 勒 展开 的 极 小 点 ， 下 面 考 圭一 般 形 式 的 二 次 通 近 函数 


Py Cy) = f (ae) -t f' (ay) Ca my) +5 Cy — vy), 


(2.2.23) 

其 中 心 是 也 (oo 的 近似 值 ， 令 mua 是 (23.2.33) 的 稳定 点 , 即 得 
Typpi ta — J (2r) Ox. (3.2.24) 

Palt, te fe) HE o. jJ Bibi ng — - iK XT PRG BR PE 
Qux. Cx) =f (my) (2.2.25) 
Pol Cr) — f (2). (2.2.26) 

如 果 要 求 

Pilu- Oe) =f" (2-1), (2.2.27) 


Bl ex = [F (2x) — f (0-10 1/ (9 — 2-1), 3X8 (2.2.24) BE 
(2.2.2). 
121118 (2.2.27) 3.33, 
Prl Tamir Cu) = f (2-1); (2.2.28) 
fj ex = 2f (m) 一 (f (m) — f (ay-1)) / (tx — £&x-1)] / (9$ — 83-3); M. 
Tr SEE. 


Trepi UR — 


LES, [25 — te-a] 
21 f'(m)— (f (m)— f (201)] / (£&— 9x] 
(2.2.29) 
(2.2.9 48 10. 我 们 可 证 
mama oe) Hol ||) 
(2.2.30) 
Brel. E jx = Ü, F(a") 40, f" (a) z 0, 当 Ta, Ta 35.5 3À Xr z" 
时 有 
lim laa al / eo | D 
XBr-(5--1/2, mf (2.2.17) 和 (2.2.91) ARR 
(2.2.29) k HRE (2.2.2) 稍 快 
一 般 说 来 ， 二 次 函数 人 (2.2.233) 不 可 能 同时 满足 四 个 捅 值 条 件 


(2.2.31) 


$ 2.27 m 线 法 a5 


(2.2.25) —(2...28), RNAB — XX. Hermit $8 (8 PR x. 
pii) = furi) (m — cV) (Az “+ Dy Sani) / (x — 2-1)? 
“+ f (ay) (@ — aya)" (Bite — 2e — 0, 4) / (8 — 21)? 
t f (nae — ax) Ce — ay) / (2 — 9-1)? 
+f" (ay) (2 — mi)" (e—a)/(2&—2-1), — (2.2.32) 
通过 直接 计算 可 得 
e 1 2] / er zwi). 


8) = [AF (a) + 2f (ora) -6 Le — FO) 
(2.2.83) 


我 们 d Ski ERE PS GS RSA PF BRERA 
f'G) (zy — tyi) 
AF (ay) taf (2-1) OLS (0) — (m1) l/(- Eea) 
(2.2.34) 
设 f(x )-—0, f(a") AO, m mci FLAP ARIE c^ 我 们 可 证 


Drag — 0 = Eo aq) — dap 2 (25, — D") (my Dye)” 


Cy. FT 


+ OC | ay a" + | ay — 2" |*| ay — 0-11? 

+ jy w] | 2, —ay-4]5), (2.2.35) 
. READ RERERC.2.39) 4 o ARES, TE, 有 

Chega — €" m ou (Dy — 2*  -- By (re — m*) (ok 一 2 


(2.2.36) 
^ f^" (a*) 
。 由 * 
=p LR p? (2.2.37) 
Bom EER +O ena el) (2.2.38) 


为 了 分 析 (2.3.36) 的 收 仇 速度 , 我 们 给 出 如 下 一 般 性 结果 : 
S| HE 2.2.2 B 8, >> 0(k=—1, 2, + FL— Bi TO A A EM 


ERARA B 
Seni = Erare- VEI, (2.2,29) 


其 中 ,8"—0, HE 
> B8 oo, (2.2.40) 


a6 — Hee LPs He [E 
则 必 存 在 Mi > Ma>0, 使 每 对 一 切 天 都 有 


MeS tpa e Ma. (2.2.41) 
证 明 v o m—86uu/eo 由 (2.2.389) 式 可 知 
tkp 一 Byaa/ Tk —— (Boi Bt. (2 .2. 42) 
于 是 
Tah TT Gua/Bxn. (2 2. 43) 


因为 级 数 3 LB. Bh | «oc. 所 以 无 穷 乘积 IT Casa / Bs 也 必 收 
S. Pi 


lim nar = 7" 770, (2.2.44) 
利用 上 式 与 (2.2.42) 式 可 推出 
lim Tak 一 B'/n =O, (2 2.45) 


KA (2.2.44) sh $1 (2.2.45) aX, BB AIL H F E Ma>Ma>0 使 得 
(2.2.41) SRA. i 
利用 引 理 3.2.3， 我 们 可 证 下 列 收 和 化 性 定理 ， 
定理 2.2.9. WX IE (2.2.34) PP ERAF ma, f) 
0, f(a") AO, f" (0) =O, f'"(z*) 0, 则 存在 My > M0, 使 得 
Mol typi D| E | Dye — a" | Mamm. 


(2.2.46) 
证 明 AA (ma $^) OC | — x* |), A (2.2.36) DI RRR 
件 可 知 
[本 和 一 好 | 一遍] 敬一 四 | | zy 1— m" |, (2.4.47) 
ali f(a") , x 
Aoi uS eom). (2.2.48) 


由 于 oy BREN, 所 以 SS | 加 一 办 | 二 ceo、 因而 从 引 理 2.2.3 M 
(2.2.47), (2.2.48) EA EMA, i 

定理 2.2.4 设 迁 代 法 (2.2.34) 产 生 的 点 列 oe’, fat) = 
0, fl (a 30, f" (2*) «0, f(a") =0, BA 


$ 2.2] W £ 法 27 


og "at 

HEBA EX 

"x | Pepa — 2" | / aat a= | AF (1, 
由 (2.2.35) 式 及 假定 Oa) 一 0 可 知 
7& — a" HO, | Bp- — 0" | /mit | tx — m1). (2.2.50) 

Dy nz" Hoa"—0, 存在 Eo UR 80 WA Ek. Hou — 
$ 0 BI, 必 有 |p a" | 8. 

假定 (2.3.49) 不 成 立 , 则 必 存 在 子 列 加 815 m, 9^. A RE 
4, 使 得 机 > 各 Am, >", BEHRA HT ARATE, mm— 
a"j-—S(VELTES. (2.2.50 BIBAT ye", xx x EREO.2.490)7. 
HE XC TROP JS. WAP BEA T SEER. a 

HE (2.2.17) 1 (2.2,49) ATE f£ OC") —0 B fie TF X5 AN 
FE (2.2.34) Aye zx Be A AE ES 

定理 %.9.5 设 和 迭代 法 (23.3.34) 产 生 的 点 列 yo", f(a") = 
O, f" (2) #0, f'"(m*) #0, f(a") #0, 出 有 


(2.2.49) 


(epp B ] = OC | gy nt |? | o2: — 2" |*), (3.2.81) 
tn 5 f" (2*) FO Ca") «0, 则 存在 M 7-0, 使得 
| Pepa — m$ | M | oy — ">, (2.2.52) 


WE SON 2-0 ELIF SRI G7) O |, RI 


wE M o0 {874 (2.2.52) A., 
WEBB m m= (arp 2") / (y a), A(2.2..36) A 


te Og + fy Ne-a. (2.2,53) 
为 了 证 明 简 单 , 我 们 不 妨 假 定 
pr Bh (2.2 4) 


其 中 a* af" (w")/2f" (at), Bh = — P9 Gan) /18f" (2), V (2.2.54) 
式 可 知 如 果 | 加 | > on 则 必 有 ml<) FER 


jo (2.2.55) 


ag 一 维 优 化 方法 [第 一 章 . 
或 者 
Ee (2.2.56) 
TXO.2.5)) 3k sr. 

现在 证 明定 理 的 其 余部 分 . 由 于 证 明 完 全 相 则 ， REREH 
«^ 770 KIB. 

TIR. f (a FO (s) «0, 3x mp5 E BO, HTT BR Ct) = 
十 凡是 (一 oo, OAO, +00) EA RAAT og NE, 3g R 
me <OCVE), MWA m > — B*/o*, FFE(2.2.52) KX M — B*/o* FS, 
Ab; 否则 , 必 存 在 和 使 得 m0, BH (2.2.54) AL mot (Vibe ho), 
THM EAT ho 时, mote 8'/o*, 故 知 (3.2.52) 式 成 立 ， 

ATI OMEO) m9, 这 时 记过 0, Wt) Aa EA PR 


"S 假定 LG) t RUP GI) M90) BE (on)! 487» 
0, 4 


i* = (atts fa")? 3-AB* )/2, (2.3.51): 
ju] Aa 
bt =t, (2.2.58) 
H | 
PbG)cu Vii. (2.2.59). 
NL Uv, WA 2.2.54» 可知 
ty > (2* — a*)/ B* -0, (2.2.60). 


从 而 (2.2,52) 成 立 ， 如 果 存 在 ko WI n mi", Rh (2.2.58) f 
(2.2.59) 式 可 得 lim m=i’, 所 以 (2.2.59) 式 必 成 立 ， I 


利用 (2.23.51) 式 可 证 明 , 存在 M —0, g<1, BE 130 — UI k, 
|m a| Mq". (2,2.61) 
出 定义 1.4.3 ALA ex 的 Ree PAR AN 2. 由 于 和 牛顿 法 的 
B St 2, Orel RA wT AER (2.2.34) 78 Ree LP 
不 比 咎 顿 法 慢 . 
BOTT AEA aA .2.34) ARRAS (2.2.2904 By SEL BR R1 RE 
(2.2.20), 得 到 的 结果 如 表 2.3.3 所 列 ， 


& 2.8] IIR 39 
*X2.2.2. &f8x(Q0.2.325 50.2.29) HERR. f(0)—- 一 22 


(2.2.2845 (2.2.29) 
l-— rz: 1.0 1.0 
1—z. 0.5 0,5 
本 一 天 9 避 14416722 0.20 000000 
本 一 下 0.18581091 x 10-1 O.T8848T38 x 10-1 
1— rg 0. 19099140 x 10-3 0.13390287 x 10-1 
L— zg 0, 91283707 x 1073 0, 7208s2o0 «10-3 
1—<, 0,11102230 x 10715 OG. 66295735 x 10-5 
1 =— Te 0 22888203 x 10-9 
I — Ta 0,12226831 x 10-1" 


MÆ 2.2.1 2.2.2 可 知 ; BRE (2.2.94) f= BK, 
它 的 计算 表现 和 牛顿 法 相似 ; ARE (2.2. 29) E v BPS, 它 比 
割 线 法 (2.2.23) 收 么 稍 快 .这些 计算 结果 和 我 们 的 理论 分 析 完 全 


Wa. 


$2.3. 多 项 式 插 值 法 


在 上 节 讨 论 的 基线 法 和 适 代 法 (2.2.29) 均 可 君 成 是 利用 二 次 
插值 推导 的 ， 在 本 节 我 们 给 出 另 西 个 常见 的 多 项 式 拍 值 导 上 册 的 方 
法 ， 一 个 是 基于 三 点 应 数值 的 二 次 搬 慎 ; 另 一 个 是 基于 两 点 的 
Hermit fdifü. 

首先 , 我 们 考虑 在 mus mos mae 三 点 上 的 二 次 播 值 硝 数 。 显 
然 , FF SAAS RRS. 

Filo) =f Can) + (e— ay) f (ea Ber) 
+ (a— ay) Cw — diya) f Cae Da-i Twa) (2.8.1) 
其 中 
f (eu mea) = [f(m) —f(m-01/(m 215 (2.3.2) 
fme Su» Gyo) = [F (ms m1) — f (fy Tea) ] / (1x — Pua)» 
(2.3.3) 
是 请 数 了 C2) 的 一 阶 及 二 阶 莽 商 ， 设 了 (Jzp-4 tea) HO, maa 


30 一 维 优化 方法 [R 
是 (2.3.3) 的 稳定 点 ; 即 得 到 选 代 法 : 


fms Bend -F (Eg — wees f (my, Tuoi) Dya) 
Af (Su Dea, Cia) 


1 fn, gu 4) 
= e-—| Sh. 一 — TAE 0 W 2.0.4 
2 (gy + wea) Af (tx, Xy on Soa) ) 


TENE (2.3 4) Fe POURRA (2.3.1), 故 被 称 为 抛物 线 法 . 
VE Dy Typ De-a Jh 2r 3É XI c", Al EL As 48 59$, F(a") =0, 
f' (#340, ide z—ct(Vé), 则 从 (2.3.4) 式 可 证 明 


Mp 


ppi ial 6f" (a [ 52i—1-l- Sp- 88g + Sy- 388-1] 


+O(max | iel’, |S- l, [8 2| 3] ). (2.3.5) 
由 上 式 可 证 朋 ek R-EPERPEXLSN, 且 它 的 Rae AR bE nd 
hot 是 方程 P= 24+ 1 BER, HB 
t= [V1— 4/23/27 +4/1-+ 4/23/27] 2/3 21.328 
(2.3.6) 


Tkt Ux 


Ee ex A HHS PE Wird, Wu] (2.3.5) hae 
mM f" (a?) 
Epp = fa) Sy-»Eyg-:-FO(|8ex. 2|] * Ex 10). (2.8.7) 


me f(a") 40, 与 引 理 2.2.1 类似 , 从 人, DAR UB 


i207" 


|en] ,| P" Cmn) 
lim ero [etes 2.8.8) 
为 了 使 抛物 线 法 实用 化 , 我 们 要 求 在 等 次 选 代 都 有 - 
fm, 1 Tr_a) 0, (2.3.9) 


PEA EE THT Ga ca ma cs 使 得 mimi ma RH oy 
mty fg HB 
fm) Tf (a1), Fn) f (aos. (2.8.10) 
由 于 s 3E te 5 eg ZA HL (2.3.10) WE 故 必 有 (2.8. 的 ， 因 为 该 
PEERAA (bracketing) x15, 所 以 它 被 称 为 划 界 工法 ， 
算法 2.3.1 CARRE 
Gl 给 定 mm 后 了 及, APO, a>l:a—x, =t tA, 
步 3 MR f (ae) >f (1), WS 
WEJ (wa) «f (ai), 刚 转 步 6. 


$2 3] 


ip 3 


3p 4 


ip5 


I 6 


= Me E 8i 


24? =y (a, +0), on FE f (oa) —f (a1), WSS 3, 


MR S (er) f (aa), WW 6; 

ta = 224 — Dan FIE. 

hi=Bh, t= mth, mE f(x) fn, WN; 

n ER F (ws) = f (21), 则 转 步 5 

za 一 wy FETE d. 

£:— (m +04) /2; MESE) f (21), WW ao b Be; 
m ff, Ul] vet = Sa, Hyi= x E 

T3:— f, EIP 5 

B= 24, H= Da i$, h= — h, SELF 4. 


THEA LRA a RA A mage, MEERA AW 
oy? 或 者 产生 无 穷 点 列 SOUS 在 前 一 种 情况 ， 有 oH 
7(a82) 严 格 单调 下 降 ， 此 时 可 理解 函数 Fa) 在 无 穷 远 处 达到 极 
小 ， 在 后 一 种 情况 ，2m eA I Hf =f(z), F 
是 是 了 (2) 的 稳定 点 ， 当 算法 有 限 终 止 时 ，zwi 必 介 于 加 与 ma 之 
间 且 不 等 式 (2.3.10} 成 立 , 从 而 (2.8.9) 式 成 立 . 

下 面 的 算法 基于 抛物 线 法 迭代 公式 (3.3.4). 在 每 次 迭代 利用 
适当 选取 和 迭代 点 僵 得 下 一 次 选 代 所 需 的 三 个 初始 点 满足 人 (2.3.10)、 

算法 2.3.20 9 5x E) 


ib 1 
ip 2 


步 3 


jp 4 


给 定 mE E. 80, 由 算法 2.8 1 PA ay, a arg, 
WX min{|va— sij, zs 一 oa MEF, 
BERAR.. HHH m. 

WR F (oa) <f (ar), WRB 5, 

NS F (os) >f (oi), 则 转 步 6. 


£— 1L (mta) MR S= 2. WE =E (oic oe 


T= É, 转 步 3, 


Jil F(a — 21) (ey — 21) 770, Bl 2s 7 23, e. D = tz 


83 — EREDE (4 


qa Wa 转 步 4 
步 8 Succ —)(2&— 271) 70, 则 ag ay, AML, me Tas 
e 2b 2. 
下 面 介 绢 一 个 基于 三 次 播 值 的 和 迭代 公式 ， BEAT m2 ma 
顶点 的 三 次 Hermit (2.2.32). PHE 
f'Cmy-a) (atu — ua) «0, fF Cty) (m-3—2,) «0, (2.3.11) 
BM (2.3. 11) SEDET 
ya ey f (aya) «OZ f (ay), (2.3.12) 
或 者 
Ou ay o fln) Os f C tyt. (2.3.13) 
1E(2.3.1D PEBERE T, BRS OE Saa Amy, 之 间 必 有 局 部 设 小 
A. mu Hd A (2.2.32) FE cx. 与 ww 之 间 存 在 唯一 的 稳定 所 
ons 该 稳定 点 蚌 一 个 局 部 严格 极 小 点 ， 因 为 guai) 70; 从 而 有 
6 (2.41 2) (Eppa — xi) [F (25-3) 
— f Cau] Cay — 2 3) HF (0-1) Ema — 2)? 
十 号 (os+1 一 ip) (Gri — ty-1)] / (my 一 Da-i) a 
+f Cay) [pri Denn)" 
+ Bpad — By) (Op e1— €-1) | / (x — a —0, 


(2.8.14) 
4 fy — (Dari m)/ (2x-1— c7; 则 得 到 
Sty, — 208, + yu 70, (3.8.15) 
其 中 | 
oy, = f (my) HS Rp) — Af Cony ais (2.3.16) 
Bu=2f" (eu) HF Comer) -Bf (ee tea), (2.3.17) 
Yum f (£u), (2.3.18) 
WE G, WA 
Dm a — 2E Pct) (2.3.19) 


这 就 是 在 上 节 中 讨论 过 的 (2.4.384). NBE 04280, HET Ol 
AQ.3.15):t; n Ad 


§ 2.5] SHARA 25 


fm (B+ N Bk — Sowys ) [Son 
e — yy/ (-V BE— Soayx — Be) 
x CA/ 82 — Bay yx + B — 27x) 
(^ Fi — Sony, — Bu) (^ Ba — Bowys + Bx — Aye) 
~ Bt — Ses + Bu—2yn 
"BUE Says +f a) f (n (2.3.20) 
由 于 对 称 狂 , 不 站 设 yaa, BOP’ Caa S a). AA 
Bi—3eyyk = (By — y? — fP'im) fima) 9. (2.8.21) 
(3.3.20) 式 的 右 端 项 分 母 必 天 于 堆 ， 于 古 得 到 选 代 公式 
psa Dy — [4/ (By — Ys)? — f' (ay nF (m) + Ba — Ay y] (Gm — 2-1) 
an (B, — Yu)? — j (nF (m) HF Cama) — f (2x) 
FF Cte) (o — Lui) 
(By Yr) — f Cg- f' Cay) — Bx 7 (2.9.22) 
假定 memi 4 HU cu füms)-0, f'"Qs5L0. AM 
(2.8.16) —- (2.8.17) ATM 
ay = OC |a — 0119), (2.3.28; 


B, FH" Gx) (0-1) +O, aual’), (2.3.24) 


故 有 
Seen Se =1+0(1), (2.8.98) 
Tet — Ek 
其 中 £s 是 由 选 代 公式 (2.2.34) 得 到 的 . 由 于 选 代 法 (2.2.34) 是 
Q-i8 £k cO RS, 所 以 对 于 近代 公式 (2.38.29) 也 有 
[Bep 2" | =o(|a,—2" |), (2.3.26) 
x T HEE (2.8.22) rn ORE HE RTT GTC SE, 
引 理 8.3.3 B pe) EO, 1], Ob JE dio) 的 三 次 
Hermite fife Oa, 满足 对 %=0, 1, A 
6,4190) =P (0), G4? (1) —49 (1), (2.8.27) 
则 对 充分 小 的 270 £,€ (0, 1) 使 得 


p(w) — Oh! (a) — E Eaa) 22), (2.3.28) 
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证 明 pi Peano 核定 理 
Va) -bub @) = pO) Le} no -td 
= | TOOB- -60- O*s(0.- 2) 
—9SL— t e (3e --2)1ldi 
一 再 | SOE 04i, (2.3.29) 


DÀ x0 BEAL, Mi a, 24 0<t<o 时 
dfs, D 232 [(8—22)532—23(2—1)2--1] 70, (2.3.30) 


当 otl, 
ir, 12)28(1—23?2[2:(1 2) —2] 
—3(1—152[z-9321]70. (2.8.31) 
于 是 利用 积分 中 值 定 理 可 得 
yo) up (o) = LS? | Ga, oat 
= = z(1—3)(1— 92), (2.8.92) 
TESI. 1 
SUE =e E 
Dlt) =f [ayt (mg 4 — wa], (2.8.33) 
h ZR PEW ORE 4—(2.4:3—2:2/(2;-1—2,)—90, 注意 到 
B pbi Cin) =, (2 .3 .34) 


好 出 引 理 2.3.3 aR, 存在 ELE (0, DER 
pe Cta) = SEE Lm) (LO), — (2.3.85) 
于 是 
F CUa) = en (yai — my) (ty 一 Deri) (Wy Wl — Ayes): 


(9.3.36) 


maa= |- ai + OC ona 21) | s 2 ea eat) 


(2.3.37) 


$2.3] UN fe EHE 35 


由 引 理 2.2.2 BR, WE f 0e) 0, ERIE G.3.22) E Q- 
TARY. 
FARR ERA - EE E us S4 RS: 
算法 2.3.4 
Jb 1 Bea CH, kot a>, 
"i TR f^) = 0, BUE; 
n E P) 70, WW A: — 一遍， 
步 3 zs 一 各 十 如 WR f (ef (ea) <0, WS. 
Ai=2h, H= 2a EY 2. 
显然 可 几 ， 上 面 的 算法 除 在 已 求 到 稳定 点 外 必 产 生 两 个 点 
c4, 22 HE (2.9.11), PERNT £i 8 — KMART E 
AR. 
9 2.3.5 (SRB 
H1 eee ER, e>0, f=—2 
由 算法 2.3. 生 产生 e zw dU JR F (oa f'(o2) —0, Du 
B. 
A2 由 迁 代 公式 (23,3,23) 升 算 mk; 
WR | FP Cowes) | e; WI ER, 
BS WER SP CP Cons) <0, 则 转 步 4 
Ty: = Py- 
4-4 kl—kb-i1, Ha. 
从 {2.3.37) 可 和 看 到， Wa POP Ce") m0. 则 当天 充分 大 时 ， 步 3 
中 的 条 件 S Conf Cana) <2 0 必 成 立 ， 于 是 利用 42.3.37) 和 9] 8 
2.220 AIL AR Zl c, JE QP. MR P009 (0*5 0, 则 必 存 在 
bo “4 keh DP SBEARTDIÁ mof (oe) <0 RR, 故 用 归纳 
法 可 证 在 有 六 和 KERN me—i—-- THEM(2.3 380K mp AW 
FA F Vk DUE EX PER SRL 
ft 


Um | Pepa — 2" | / | oy | 一 if") m9 


(2.3.88) 
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$2.4 区 间 分 割 法 


区 间 分 割 法 是 一 类 缩短 包含 极 秆 点 区 间 的 方法 ， 它 通过 计算 
T VASE ee KA p RE EX i5] CES 9 SZ ARERR HR], 
So 7) tke I AXI ERES ed HE R. "PH E12: Hj E E oS 3 
HJ sz. 

EX 2.4.1 REAM Sla LAY, MRE 
a"C[e, b], fit fS f(e) ela, st] LRAT eA EL", 5]. EJ 
格 单调 上 升 , 则 称 f (Qo) J& fal La, 5) ERU ae S A, 

FH ER RE BELA BI XE XL. SP LA SERE. 

52.4.2 B/E la, b] Lm RR o" E f) 在 
(a, b] ERE-— Eh, MM Eg e E [G e"). b E fo", 51, f(x) th. 
ERE La’, 5°) Tiny SUR eg Xr. 

3| BE 2.4.3. RFE la, b] LW RMR, oe Fo) 在 
[@, 5] EB E — BDA, MEA almE lo, DW IE name IR 
fn) f). Wo © (a, ma); MUR flor) >f (ee), W aw [omy 5]; 
WIR Gn — f (0), 则 aE [er 29]. 

RIAL Ag HRE HASHA 2.4.2 A 28 2.4.3 fi fur B ux 
的 区 间 通 过 分 割 不 断 缩 小 , TE EK Br TREE OI IE. 

假设 fF Co) FE La, b) Kiel by ee ae, HEX, wE [a, 5], 
que > 

[G. zo], MIR f (o) <f (49); 

[a, b] Lz 6], MR fF (o0 f Gi 

[zi, taj, MR fim) =f (t3), 
An 六 二 是 Te， b^] Ee ie Rw, Hofio)dE[a, 51 上 的 唯一 极 

NADIR Tio", 0°), sir lel ay BE b-a «E. 

b'—a'«max[zs—a, bgl. (2.4.1) 
对 尾 何 给 定 前 ance, ARATE RS (Co) RR 2.4. 
HWS. CEA B TSA (2.4.1) A Ge aA A 
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(b—a)/2, TEH a, (b--2)/2, a—(b--a)/2 时 的 极限 值 ， 所 
URTE ay = (5--a)0/8—6. m—(b+a)/Aa+s, 其 中 s>0 基 一 
充分 小 的 正 数 ， 这样 在 最 坏 的 情况 下 ， 新 区 间 (e, VIN KE RA 
(b—a);3-rs, REAK, MEER m 和 四 是 最 好 的 方案 ， 如 果 
我 们 仅 需 要 缩短 区 间 长 度 一 次 ， 上 述 方法 的 确 是 最 优 的 ， 下 面 我 
们 考虑 一 般 情 形 下 的 最 优 分 割 方案 . 

T Mk, 假定 原始 区 间 是 [0, 11, RRA ER RN 
7 是 通过 历次 缩小 区 间 后 在 最 坏 情形 下 区 间 长 度 的 最 短 可 能 的 极 
和 限 ， 由 上 面 务 析 可 知 , 4 = 1 时 , 极限 值 为 YY=1/2， 此 时 两 个 分 
划 点 均 趟 于 1/2, WTA rib 2), 我 们 引入 记号 rila), CR 
kE IRM Er E —" p 3 o Je, ORE E REDEEMER 
SAE TEE KE RT ABA EERE, REUS a 
1/3， 设 另 一 个 分 划 点 为 B, BR B<a。 不 难看 出 ， 在 最 坏 情形 
下 ， 通 过 两 次 娘 短 后 的 区 间 长 度 的 最 小 可 能 ERREX F) 为 
max[B8. a— p, 1—a], Bye 


ra(a) 7 min maxi, a— 8, 1-a]—max/<, 1—a]. 
(2.4.2) 


现在 用 归纳 法 证 明 , 对 62368 
ro) - max [a Fyr Aa) F3]; (2.4.3) 
其 中 Fe=0, Fil, Fie Frat Fy DEF 4 HyiE wm om 
Fibonacci RFC ht; Bell, 1940 和 Fibonacci, 1202), BAT Bi, 
A(2.4.3)76 k-32 BE. Ub b—2, +, phI3(2.4.3) a, 对 


T b—pci 给 定 一 个 初始 分 划 点 a zo WE- KASKAR 


NAW ae B. BARTER A alos sso, 从 而 
有 


Toril) -—e- min rs max [8/«, 1— B/«]) 


-—-miní min wri(B/«a) min er;(1—58/a«)) 
1—x*«f8-a 1-0 gea 
cuf xol 


35 — FETT e [SR 


, i l—« c l—« 
=min [max Fr) Yo max Fe F. I} 
o | 
Fons f E gpi i 
HERA (2.4.3) - eee Be, 且 


r= min rt(a) e rí(ay) 


-max| (2.4.4) 


=o" P af Fapa) = 1/ Pras, (2.4.5) 
AT TASS) BE Al A RETE ie fd 划 点 on Pea / Pa, M 
(2.4.4) 5085 FES RE A Ai 3 — 3 X] EX B BL — os — Ful Pape. 
我 们 得 到 的 十 一 个 对 称 分 划 ， 所 以 可 假定 缩小 一 次 后 的 区 问 是 
(0, e]. KPO RAE 8o 而 且 Bef oy oua TE SERE HE ch 
KE &—1 次 的 方法 的 最 优 分 划 点 . 
基于 上 面 的 讨论 ， 可 以 给 出 一 个 求 单 唑 函数 (2) 在 [4, 8] 区 
间 的 级 小 值 的 最 优 区 间 人 分割 法 . A fa A REA TRE PF eco, 
可 找到 Le, 6) ERETTE, Has SoA b] LK Rh 
RHR ABs, MTJ HHAH REH L6 5 SE DES 
RIA X. MRT UO XR EX. 
算法 2.4.4 
bi a<b, RBH e>0 给 出 ; 
取 充 分 小 正 数 OL; 
fp EC 使 得 FS (6 —@) /(e—8); 
WE n3, 则 转 步 2; 
GR n= 1, We; 
œ: = (a-+b)/2, 计算 f=f(a), up 5 
32 a:=a+(b—-a)F,-i/f, 
B:—arb—a 


$2.4) EX [RP sp OE B9 


计算 f(a), f (8) 8:—0 

步 3 ki=k+1; WME f(9)f(a). WHE 4 

bi =a; uic 

WR n— b= 2, 则 f: —f US) MEA B; 
B: — ad (b— a) pa F ak: 

计算 f (8), ted 3; 

Ipd ai= 8, St =a, 

如 果 n 一 一 2 则 fs f(a) 和 转 步 5, 
g:-—a8d(b—a) E, y au Fag 
HH f(a), Hee 3 
步 8 站 :一 上 一 全 计算 FR); 
mR FO) « f, Mb: =a; 
AUR f(8) =f, WW a: = 8, ab. 

ERRERA RU A KA e SABE SORE E 
的 变化 而 变化 的 , SEU HI DECRE P] Ap XE FIF uuu RAR ABT), 而且 
SHARPER. H Fyn A, BREMER 
Aa PE, 但 它 的 应 用 远 不 如 下 闻 介 绍 的 资金 分 害 法 广泛 . 

我 们 考虑 每 次 争 小 区 间 均 有 图 定 的 分 划 比 c， 还 是 设 原 始 区 
fal JE (0, 1], ŽREME. RITATO UAR l-a a, 
由 于 对 称 竹 ， 可 人 慨 定 缩短 后 的 区 间 是 [0 al, TE l-a HE 
A A X] ERG 我 们 和 要求 

(1—«)/«-—a, (2.4.6) 
PERE (2.4.6 E— ERE a —1/v, HP e (V 5 +1)/2 
在 2.3 节 中 已 经 提 到 . 

分 划 比 确定 后 ; 我 们 可 物 出 黄金 分 省 法 如 下 :， 

算法 名 ,要 - 与 (黄金 分 类 法 ， 

3p 1I aoco, i722 8-0 H; 

计算 r=(4 B -+1)/3; 
a:=o+(6~—a)/o, Bi =a+b—om 
HA f(a), FB). 
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步 2 ub5-—a-vs WY 4; 
JR F(A) > fla), 则 转 步 3; 
b: =a; a: = A; 
B: =b— (b-a) /T; 
HES) 转 步 3 
步 3 ai= g; 8: ~ a; 
a:-G-F(b-—au)/v 
计算 f Coo, 转 步 a. 
步 WRS SSC), 则 b: oo, 
TR (BR) f (o), 则 a: — 8, 
停止 ， 
我 们 显然 可 以 羞 到， 对 任何 =1l， 黄 金 分 割 法 的 包 级 缩小 率 
CBD ae a LO, LixBrl UOCE IB EB Xi/s o 
TXEESEXSIE, RATA (2.4.5) AE k= RERE ATER 


3p 3 35 8 Te 
F,—[v*—(—«)-*]/4/ B (2.4.7) 
CH, Coxeter, 1954), 我 们 可 证 明 下 面 不 等 式 
TH Fora (2.4.8) 
对 一 切 &2-0 PER AL, vij E. 
lim F,/ Fram 1/v. (2.4.9) 


HETA, oo A Re ERR RRR. (2.4.8) 
TU He BA E eo} A ERY RAN BT AL RRA OR 
Tish, RESH RAAE REGAMERAV AA ERP 
法 的 精度 ， HRS WEARER ERM, PUA 
FR xs SE IE AB SEE IS 

ee es 3) i^v BT BRB Buelid 的 几何 原本 , EA ae A)” 
xX — % ie: dy] Helmes(1844) #3 a BAY CH, Archibald, 1918). 

3? 28 BE ae ah ASE JE SD RRB RA s 3A dE ny 
方法 ， 我 们 将 给 出 一 个 利用 函数 导数 值 的 区 间 分 割 法， 该 方法 每 
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KERMA RR AAS BR PB, BRE Be A tt > k 
{bisection method), Ho AxA E dE — o f'(c) 5 ARE 
ASHE. RARER Me, b] EAH, Ef af (5)-—0, 
W f'(o) -02E(a, 5) PRR, 对 任何 C (a. b), Bn E f£ (a) =O, 
Mla MARAT. ol, RNAS (of (a) 二 0 或 者 f(a f(b) 
<6 
(5 ta’, b") [^ a), WR F Calf (a) <0, 
ia, b]. WMR F (of (5) <0, 
Wi XE La’, BYE fe) -0 ARH, MR gr E 
b — a’ max{a—a, b— a}, /2.4,10) 
为 了 使 新 区 间 [a， 83] 的 长 度 在 最 坏 的 情况 下 达到 最 小 ，& 必须 取 
为 区 间 中 点 (a+b), 3XHj Da 一 (0 一 /2， 重 复 上 述 过 程 ， 
可 使 区 间 缩 小 到 任意 给 定 的 误差 界 之 内 ， 下面 给 出 对 分 法 的 算 
法 . 
算法 32.4.6(j4 
步 1 ab, f'(af' 00-0 给 出 , e 0 Ba. 
步 3 timi&b—ao-e WH. 
o = (a+b) /; FH f (05 
WE F(a) 一 0, Ws 
mE f'(a)f'(a) <0, 则 转 步 5 
ai =a; 转 步 2. 
BS bima; HA 2. 


82.6 线 19 R 


线 搜索 (Tine search ) 是 对 于 一 个 多 维 函 煞 在 一 个 一 维 子 空间 

上 上 汪 找 一 个 “好 后. 在 狐 学 上 , CERERE IMARA n HA 
fo) 在 一 个 一 维 子 空间 上 的 极 小 , BD 

min f (z-rad), (2.5.1) 


其 中 ocE, dc E, Hd'vf(e)-«0, Bi TX BGESBUER AU; 
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法 在 每 次 近代 都 要 进行 线 搜 索 所 以 级 搜索 方法 的 好 坏 直 接 影 响 
非 线 性 规划 方法 的 效 宣 . 
tig £538 2 coxact line search) 374 Hi ead (2.5.1). Hm 
iH et-0dd 45 
f(e+otd) — min f (sad). (2.5.2) 


RHAH — vf) dian np af dot — Cf (Gr) qupmBjf8 Bg, 则 有 
cos(d, — vf (s) = —d*vf(z)ldja vfis)la. — (2.8.3) 
引 理 2.5.1 dio" 04 (2.5.2) A, tad) lam M 
*j— 8I «7-0 Pg SE, WS 


f (2) — f (+d) > IVS (e) icosd, — Vf (25. 
(2.5.4) 
证 明 HRT A 
f (aad) <f(e)+ad" Vf (a) + Mal} (2.5.5) 


Xi—41eL0 BRU, Sa-—d Vf(o)/Midl2, WA 
f (2) —f lw od) =f (2) — f (o ad) 
ur bvfGDBeosd, ~ vf (@)>. 
(2.5.6) 
所 以 引 理 成 立 .， d 
(2.5.4) 式 给 出 在 精确 搜索 下 日 标 函数 下 降 的 一 个 下 界 。 它 说 明 ， 
只 要 搜索 方向 不 是 太 环 , Wd 与 — vf (2) B KAR RE 0/2, NA 
标 函 数 下 峰 在 量 级 上 至 少 也 有 Vv (xz) 由， 精确 线 搜索 的 另 一 个 
优点 是 它 和 具有 正 交 条 件 ， 
d Vf(oz-ra"d)- 0, (2.5.7) 
这 一 点 对 一 些 多 维 光 约束 优化 方法 的 有 限 终止 起 着 关键 作用 . 
精确 线 搜索 是 一 个 特殊 形式 的 一 维 优化 问题 ， 它 可 用 本 间 以 
LILA ABR. 显然 可 见 , HAMS Be mh Re (a) =f w+ ad) 
HY eR ie fed A CE SE BR Lm Bo An 2E BR Ap (m) Oe A 
HEE MAS n 非常 大 时 ， 精 确 求 解 (2,5.1) 的 计算 量 是 和 相当 大 
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的 ， 由 于 线 搜 索 只 是 多 维 优 化 方法 每 次 近代 中 的 一 个 子宫 题 ， 精 
确 求 解 它 往 往常 要 订 算 很 多 次 函数 值 ， 这 有 可 能 降 懈 整个 方法 后 
效率 ， 特 别 吓 汰 近代 点 离 原 问题 的 解 很 远 时 ， 精 确 地 求解 一 个 一 
维 子 问题 通常 不 是 和 十分 有 效 的 . | 
不 精确 线 捷 索 Cmexact Line search) £49 b X35 978 Hi ck W 
(2.5.1), BiH a0 PRR SAE. JERR 
As ie Ft, EL AE As RB — EE, 0908 SS DL (2. 4) SEA 
TE RIBAS E. 
EEn- PSE ARIS, ik Armijo-Goldstein 线 搜 索 
(Armijo, 1966, Goldstein, 1965), ER a M E 
f(z) —flo+ad)= —ab.d" Vf (a), (2.5.8) 
GT f (a+ od) bad vf (a), (2.5.9). 
Hp 5.48 b. 是 两 个 常数 ， 有 上 且 满足 Oddi CH Powell, 
1976a)，、 首 先 我 们 证 明 除 了 特殊 情形 外 这 一 非 精确 线 搜索 有 和 解 . 
SiR 2.05.2. WIR RR (o) 一 f(w-od) 连 续 可 微 ，2'(0) 一 
d*cf(a)-0, UR eg(al(a>OTA SH, Wü DN emo. E 
(2,5.8) (2.5.9) RI, 
证 明 WT pla) (a> OTA R, DRE 8770 使 得 
f (a) -fiet Gd) = — bd" of (e), (2.5.10) 
自 (2.5.8) 对 一 切 0O<ax<ad HRI. RU TEE (2.5.10) 可 
ui, 存在 ac (0, &) 使 得 
p (a) = [p(0) —e(8)]1/(—8) 
— bid? ^f (Œw), (2.5.11y 
Ba, xd gROO.D.8) (2.5.9), i 
我 们 可 以 理解 条 件 (2.5.8) 是 (2.5.4) 的 推广 , 不等式 (3.5.9) 
基 (2.5.9) 的 近似 ， 所 以 有 的 韭 精 确 搜 索要 求 (2.5.3) 和 
1d? wf oad) |< — dad Vf (2). (2.5.12) 
这 时 , 当 5.0 WERL IBS A 2x der s CI, Fleteher, 1987). 
引 理 3.5.3 Rime Oe, BV WE Lipsehitz. 
gi 


+i — E BUS E [HE 


if GO — vi la My — zla (2.5.13) 
mB fatat) >t TARA, Uu ffi ae-O03$E(2.5.8)^— 
(2.5.9) BA 


f(a) - f (aod) s DU fo) fos, vf (o. 


(2.56.14) 
WEB] (2.0.13) 80(2.0.9) 可知 
Go 一 
— (1 — bajd Vf (az), (2.5.15) 
A (2.6. 8)F0(2. 5.16) ARA. 5. 142) mx. — |] 
aR RSE A 8 219 3x (2. 0.8) ~ (2.5.9) 8g — ARER A RT 
Fletoher(1987), "Emir rx 3.5.85 Al (2.5.12) We 
WitRAK, CMAP Pletoher 的 方法 一 梯 ; HAA OK 
3 (ELI = Vd EL. 
Bik 2.5.4 
wl Bw O<b<8<11, atw 
ar =b. fai = fie fied TF (a); 
wi 一 十 oo f$— i, 
步 3 计算 f: —f@e+ad), 1818 (2.5.8) xot Sr Mew 4 
Gigi =a, Fa: = 
F B 利用 fa b Fa 进行 — E 8 DR OE, RI 
a ay + (ea 一 x) / T LL 
Mri 2. 
He PAS <d*yvf(o+ad), MA(2.5 AMY, RE BR 
MEF, WMP 6; 
wai =a; faif, fref 
步 5 HB fofr Jo Jfa HTH KIER e. 


1 (Gg — 04) 
(E = C51 / (BR D3 — fi fi— 8 (2.5,17) 


其 中 8-—2f tfr fa fa) aaa BH 2 


ub 
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步 8 如 果 aoo, WEE T, 
oo fit, f mf 
WE f.0, WHA 5. mw. Sep 3. 
步 7 MA fo fu f 六 进行 三 次 插值 求 & 
&-a— f (0 — ay) 
(B-P Y-F. 
其 中 B=2f'+ 记 一 3Cf1 一 /Cou 一); 
011m, faref, fiij, 
a: oma, FEW 2. 
xk [62:53 (2.5.16) $1(2.6. 174-81 H3 (2.2.29) 81(2.3 22) 
导出 、 式 (2.5.18) Eja (2.06. TTD) RA — RE, KERA ES GPR 
HERGA ESAE Lon, os] EB ILS A, MEF T 中 我 们 是 求 
HEARE, -Foo) EE RA. 
和 Fletcher (1987 ) Ay 4 EB 7j zi 26 LL, 在 算法 的 步 3 AE D tp, 
我 们 要 求 


(2.5.18) 


ee fa- ra d), &s— v(05— 0) ] (2.5.19) 
AUPTOOBY eS v= 0.1), 30353138 (2.5.16) & A (2.5. 1T) 
计算 得 到 的 a 不 满足 (2.5.19), 我 们 就 令 ， 

a:=min{max[a, o44-7(08—94)], mm TCm — 0) 
(2.5.20) 
这 样 重新 定义 的 a 显然 满足 (323.5.19) Bee K B e+ v (e — 
od)]，as 一 To 一 ad 上 离 计 算得 到 的 o 最 近 的 一 点 ， 同 样 在 步 了 
rp, RIER 
&C {a+ (a—o04), a--9(a-—2)]. (2.5.21 
iR (2.5.18) 计算 得 到 Bg & 78 3406 2.5.21), RATHS 
(2.5.20) ARAR A IE & HERB E (2. 5.21). 
WFR, RRR SEARS yea A 
长 有 关 的 函数 下 降 重 的 帖 计 式 ， 我 们 设 fio) eR ME 
TEE 360, (EB 


(y —-s)* Dv fg) — VE (O12 ly — elie (2.5.22) 
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X ERI y EER HRL., SAHRA RRIA GU T AUR. 
x XE 2.5.5 设 o'—0 Æ (2.5.3) B Bt. BR fo) we 


f (2) — f (aca) > vod]. (2.5.23) 
证 明 H d"vof(z--a*d)-0 £9 (2.5.23) np f& 
f(a) —flatatd) =|" —d*v f (a-- d)dt 


= [a [Vf (at o*d) — vf (atid) di 
>|" ntt £d: lal 


一 - = vje"d 3. (2.5.24) 
于 是 定理 成 立 . E 
对 于 非 精 确 搜索 , 也 有 类 侯 结果: 
定理 必 , 必 ,各 Hoo i1IEdERTHSRLLQISGIÓRTRO2.0.9)0, dg 
eK fo) (2.5.13) A 2.9.22), WE 


fæ) flatad — sad 2, (2.5.25) 


14+ Mm 
WEBB SERGE AT Vf (et+ad)<0, 这 时 与 多 ,5.24) 类 似 , 我 们 
可 证 
f(a) —f(z--od) > 5- nl adii (2.5.26) 


XE BRE d^ vf stod) >0, WARE 0 a* «a, 使得 d Vf (o--o*d) 
=0, (2.6.13) Ri Al iE 
Fa)-~fetatd)<z M jordi, (2.5.27) 


另 一 方面 , 利用 (2.5.32) 可 得 到 
f(a+ed) —f(a-Fa*d) ay m(a— a* ^l]. (2.5.98) 
HT f(z-rad)-f(s). K(2.2.21)$1(2.2.28) n] dE 1H 
/ MN, 
a«(1 ty ST . (2.5.29) 


& 2.55 Ho m £ AT 
从 而 有 
Jj) —f(z--ad)ze — abd VF (a) 
= 6400" [Vf (a-Fo'd) — vf (2)] 
nda" | dll? 


bn "1 
TSM lm odi. (2.5.30) 
由 于 bcl, M/m>1, AK (2.5.30) (2.6.20) BV eRe, 
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ko EA ASE Be RETE 


本 章 讨 论 极 小 化 问题 
min f (a) (8.0.1) 


[P BR BE TA ASE Ge BR RES. BABE Sk Se E R A EDS ED 
WAAAY. ERAT SRS ie, (5k ee S EN 
TREE US PN 2p is ae Oy R ALIE ARAS Ae EIT 
BURA OSL. FESR BREE i ae A OBB BET EA G A A FT 
F^ ASBLEHSUER 7I H. AERA ERA EE fo) 3€ — X 3 
e PAH a shag, JERE DE ce AR ee PE Ee SE ne BE D 
展 而 来 的 ， 它 具有 二 次 终止 性 . FOF RARE fo), 3E 
eB SE He B A a EEO SRE, Dr EAS A EHE VEPÉHE Be A ER E. 
重新 开始 较 巧 . FEE RE EE PA LSE EIR] ak B — 25 Se SRF 
法 . 


83.1. Bh BP 法 


梯度 法 (Uradient Methods) J& Li TA Fi RE 73 I] EM 18228 27 E Bj 
方法 , 是 所 有 需要 计算 导数 的 无 约束 优化 算法 中 最 简单 的 方法 . 
Wa f(a) Eo 点 附近 连续 本 被 , ge Vile) AO. AGEH 
到 ， 负 梯度 方 问 一 多 ig4 是 一 个 下 降 方 问 ， 即 区 苑 分 小 的 a0 有 
f(s—-ag/igl) «f (a). (3.1.1) 
对 性 何 非 零 向 量 d.c R^ 均 有 


t£ 3.1] Hi m 法 49 


um fi-f(ered/Adj) o d* 
aw, Fix)—fla—eg/|gls) lalslogls 
= cor<d — g» L, (8.1.2) 


HoP «d. —9» XI dB —g Ze. M (3.1.2) AA 
5n, TRE FI gig la ERR f (m) 3E c AE BJ XE. F IE 77 19 
(ateepest descent direction), Br LJ RF ESAE ik FOE iE. 
£j ey de OP BE ER RTE CA IS OKRA, AK 
uS Cauchy (1847), EAH AA BaF: 
算法 3.1.1 GT RE 
步 1 给 出 mE BRB", O<e<i, 
k=l, 
步 3 WMA | (es) lass, B 
dy — Vf (a). 
步 3 利用 精确 线 搜 索 求 ar > 0. HD 
了 《008 十 aydyp) —min flat oly), (3.1.3) 


JE 4 te= eut at ick, $22p 2. 
很 显然 , 算法 SL. TP RR, HUGE. 
FG) fn). (3.1.4) 
dn Pe aE 
EESSI? WHR IKEA RM, BEV SM, 
xj EA 25 5E PILAR RC o; A oO, HK 8.1.1 E FREE IE SX 
lim f (2,) 一 一 ce， (3.1.5) 
证 明 PRS OTA PARMA S.1.1 H3 38 2.5.1 
有 


f (en) —f Gua) € Vf Cox) | 2. (3.1.6) 


于 是 _ 
f(a) fa) = S) Uf 20 — f as) 


x È VS (æ). (8.1.7) 


50 ES BA SESE Mine E [第 三 之 
从 (3 .1. 7) [A0 (3.1.5) 5 
lim | vf (2,) a7 0 (3.1.8) 


圣 少 有 一 个 成 立 ， 从 而 定理 成 立 ， — 

下 面 我 们 分 析 算 法 3.1.1 的 收敛 速度 . 假定 s=0, WK 3.1.1 
产生 的 点 列 gx 二 43,…) 满 足以 下 假设 

Biz 3.1.3 1) myror"; 

2) Vf" =0, V*f iz") 3ERE. 

49r EARR fl RE ERA EEA REAS n EC f (n) 
的 下 列 性 质 ， 

3328 9.1.4 H F(E e AREZ REER, Vf (2) =0- 
VEE. 则 存在 正 数 和 mo 型 ,3 使 得 

0 me. (Vf (m)) «o1 V f (m) ) «M (3.1.9) 


XP-—Ulle—st|«6 BEL. A ei0B),o.(B)4RENE deo nox n 4B 
E BRR RMI A RE. KAA 
y mle—o Lif (2) —-f(o") <5 Mlo- ah 
(8.1.10) 
mz las] vhs bs. (8.1.11) 
*t—59] leris SI gg 3r. 而 县 对 任何 充分 小 的 和 c (0, m); 
存在 3 >0 使 得 
hfe) [220m —m [ff] — (.1.12) 
对 一 切 1s— 2*1 «5' 均 成 立 . 
证 明 (3.1.9) ~ (3.1.11) 38 T 4 RE EA SJ, RBH, Uu 
必 在 在 m'C(0. m), yy", fii 18 
IVF Os) Ig 30m — m2 Cf Gu) — f Co"), (9.1.13) 
不 内 一 般 性 , BE Qus — m )/ hy x" la—9 d, 我 们 有 
| vf Gu2ls$-1v—2l CL v9f()d]g2-o0D), — (3.1.14) 


f) - f(a?)- 3 ima PO VF aad) — (8.1.18) 


$3.1) B ÈE 法 31 
gd (3.1.14) — (8.1.15) E] (3.1.9) nj f& 


: V # ||2 v z*3d ls 
am 7s ear am, — (3.1.16) 
(3.1.16) (3.1.19) 4. KAR. B 
FE PHS SNB SS.1.1 Buts E 
定理 3.1.5 BARK 3.1.1 PH xu EBRE 3.1.3, 5 
f (2€ a^ hb Wis — UE, 且 (3.1.9) 式 成 立 , 则 必 有 


F(t) ~ f(r) _ 1.2 
Ja) fu Pb m 
H 
Jim sup A< acd, (8.1.18) 
证 明 ”由 {3.i1.6) 式 有 
hf Cay) IE 
ESI CAMIS) fT (3.1.19) 
2S UF ur B8 (3.1.16), 有 
. " | v fs) [2 
lim supAyS1— Him nif Srey SOT 
i-e. (3.1.20) 
POCA mw. B 
如 果 了 (#2) 是 二 次 严 寿 是 函数 , BU 
f(x) SERA v? Hz, (8.1.21) 


ApgcHh^ HER gib, MAEA DAA Eo 
~#i“g, WoE), e.CH) 4) A ARRAS EAA) FE 
W, BU edi EE 3.1.1 产生 的 点 列 vu (5—1, 2, 0 

’ Cate) — fim" ga H)—m, 3 

5 CE «| A EN 00122 
上 式 的 证 明 可 参阅 Akaike(1959). pj H Forsythe(1968)3K UE HH 
了 :如果 assum, I XE— UJ 5 SUE ee", 县 存在 常数 o>, 使 得 


(344) — f(a" ) 
Eicon 3.125 


UE FERE HERI Spo RE HE s ER i 


SEM kR. ROR UAE. 当 忆 充分 大 时 g= VS (m) 将 在 两 
DA LEjA, Ef 


lim g. /lgal d. (3.1.24) 
HB -po 
Hm Gane! | Gerta. 35 d i (3 1.25} 


部 存在 . Bi(2.1.23 0 (3.1.10) nj 5g. REHE H PR i Be at — UC IR IC 
SHEER 3.1.1 RR a. EMA FAGAM, SERA M 
PERESA, A 3.1.1 A a HS T HT: 

75 IS. 


M 0 
fez at |” M (8.1.26) 


HE wE R’, M >l>m>0, RRA ae C1, v M/m) Mh 
EA 3.1.1 PENA 


(a 1)", /Mym), (8.1.27) 


UV Mom W, (M-m) Mt mòta 3RJXL L JA (3.1.27) nfl a 
We ok PR CO, OP DE XE RE JE RTE AY, HL dE PSP. 
fit, Barzilai 和 Borwein(1988) 提出 一 个 两 jx ip +e BB HE 
Bh, AES BRE AS BU ex RT SR He ou ZP E 
D P. FIN FE RIAIN epim te agr: 看 成 是 
Syst = Dp Lys (3.1.28) 
tB g= g(a) = Vf (y) Dy,—eI. O8 IS ABER D. BA“ H 4 
$i"(guasi-Newton)TE pi CIU ^F yi 7; HJ RRM, 我 
让 将 在 下 一 章 专 门 讨 论 ). 计算 a 使 得 
min |s.-1— Dus-ils (3.1.29) 
x 
min | De sx-1— Yull a (3.1.90; 
其 中 Si-a = Oy — vy. Ux-i7* fs — Qe-l. Hi (3.1.29) 和 (3.1.30) 我 
il] PY A} Bl RAR 


5 Oy = 8, ai/i-a/ heal (3.1.31) 


$ 3.1] BOB x 33 


05, | 8 1 2 S1 xs. (3.1.32) 
利用 步 长 因子 (3.1.31) 或 (3.1.32), 得 到 下 面 算法 ， 
算法 383.1.86 (Barzilar and Borwein, 1988) 
步 1 给 出 a CR, 0«e«l, 
i=] 
BA WRVS Cox) loss, 则 停 ; 
dy= — VF (ax). 
步 3 Hi k= 1 Wl PP ROR on BH, 
由 (3.1.31) ai (3.1.33) AY} a, : 
WA Bater t ap i= k+l, 转 步 A, 
RNAS E Ej Pr EE Er Re EIE RR 1S 3.1.6 
HSE, 由 于 对 变量 作 正 交 变 换 不 影响 算法 ， RTE Be 
Bg d te 


fia) _+ ar ° e (3.1.33) 


A Ace]. 对 于 初始 值 a= Oo A), of 出 精确 线性 搜索 求 得 ， 
Barzilar fi Borwein (1988) iE HH T zb tery (3.1.31) 确定 的 算法 
3.1.6 是 RARE, HH BB- 险 为 v2， 这 个 结果 几乎 对 
所 有 初始 值 者 是 成 立 的 . 

定理 8.1.7 WRI 3.1.6 BS IP E os (3.1.32) 51:8. A 


SR Me RRA 
一 村 (和 +1), (3.1.34) 
(g (wa) )"g (21) =0, (8.1.35) 
则 2, BR PEM T (O, 0), H 
suy abe, oii 
JL AS (S184) Bee (3.1.35) ARETE, 则 o RR FRO, 0), H 
R-Wp 2. 


证 明 SUR (3.1.34) 91 (3.1.35) jg se, 则 有 


从 而 有 


AH E SS EBD RE (3 1.36085 — H E. 


HE RE A Te BB HE E 


ai 一 | g (a4) fà 


ri i UV 
ga?!) | |g (os 


2 


TX 
t= a, — ong (a4) 


-:5 (+2 )a, x1». 
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(3.1.37) 


(3.1.38) 


现在 假定 (3.1.34) 和 和 (83.1.35) 不 同时 成 立 , 设 o= Ca, 04)", 
oa 一 (2 Va)", WMR m EXE oe 落 在 ww- 轴 上 或 4- 轴 上 , WAKER 
经 过 两 次 选民 就 可 得 到 精确 解 . 所 以 我 们 可 以 假定 to Vo war va 


BEAR, FEB AG gigs 表示 成 如 下 形式 : 


gai CAP, ( 一 in) J 
ga= ia A", (—1)057, 


Hp I, I€ (0.1). BE 


对 一 切 和 一 十， 2, 


于 是 


人 一 直人 


…, EBR, 我 们 从 (3.1.39) 可 得 到 
T os 
j^ -1|Z/'E-—: 0 X &—1. 


= [和 re 十 1)/ (a 3m :十 A) 


f 9 
441 = s — Oy Th 


Ü A 


pE A 


_ " (À— 1 A Mme: po 
( Lu 1} fart 


Xr sa, 我 们 定义 


faim 10) Ame (Pme LA), 


Thai — Nbg — ATH - 1: 


lai I,4- i, 


(3.1.39) 
(3.1.40) 


(8.1.41) 


(8.1.42) 


(8.1.48) 


(3.1.44) 
(3.1.45) 
(3.1.46) 


53.1] B E 法 05 


Wjgi(3.1.89), (8.1.40), (8.1.43) MRR (3.1.41) 3] — BJ 
G21 a., JA(.1.44) RD ACD, Hardy fi Wright, 197 FA 
ts BLO p 8 
m= (A/ 2 FO colh tk tanc! (/1)) (3.1.47) 
WH) b A. HEP Q3. 1.34) (3.1.35) REB n, Br EIL 0 0. 
不 失 一 般 性 , BEI, 对 任何 到 都 有 
„pin cos(pt (b+ é)tan™ f/f 7) 


<008 (= tani T )< — 一 0.34. (3.1.48) 
A, (3.1.45) 可知 
[nr |= CA — 1) | 8| (8.1.49) 
对 所 有 Bo 2 355 ar, m E p m Ty 17 0, WA 
teea | (A — 13 fy], (3.1.50) 


HH (3.1.45), (8.1.47) ~ (3.1.50) R[ E 
Ihi -[ 11 a- Dr] 


o vea 25/4] P 
= |%s|(A—1) I! X 


< i| (A1) iA temet (8.1.51) 
对 所 有 的 ==6 Mose. 于 是 当 ASG H m0 时 ， 
igala [v 2 5 
wef ‘teal (X—1) bag 0.4802) ， (3.1.52) 
K3.1.46) (3.1.41) 可 得 


À—1)A9me ya Ama 十 二 
lg. li/ Lodi (ACRE y CAS LI 


A gms ac A dme 
= (A—1 
(AT) (AP A (AL) 


<(A—-1) (3.1.53) 


对 一 切 Ao Moe. BUS eff 0259, (8.1.48), BHE 
Om «83 (E mu <0, PIA (8.1.53) $8 (3.1.52) WE 


56 £6 RE EMRE [H= 


Mgala (Ch — 1^ gu- ila 
« (X—1 A Dl ty] (X — 1)5-1-25,- 08e T)» Mdb 
« 3 ia| (A 1-22.08. (3.1.54) 
(3.1.54) Bg louse R BREA O $9. HEUS ic Sk ft 
V2. HF aima [gas BÜA a RMR EW ERO, 0), E 
五 - 收 伊 阶 为 了， g 
定理 3.1.7 在 步 长 o 由 (3.1.31) 给 出 的 情形 下 仍然 成 立 ; 而 
且 证 明 十 分 类 似 ， 从 不 等 式 (3.1.54) 可 看 出 算法 3.1.6 的 一 个 有 
趣 性 质 , 当 问 题 越 是 处 于 条 件 不 利 时 , BEA 越 天 时 ，| gxl HAF O 
ie eR 
算法 3.1.6 并 不 是 一 个 下 降 方 法 ， 所 以 当 自 标 函 数 不 是 二 次 
EA BCA. 并 加 以 适当 修 玻 才 可 应 用 ， 从 定理 3.1.7 的 证 明 中 可 看 
到 , P UT, 每 生 次 选 代 必 有 -次 超 线 性 收 敏 步 ， 于 是 我 们 可 
BBE WK, SRG LKR ARMA EE. 
算法 3. 工 .8 
步 1 4h 2€¢R’, o<e<1, 0 — 549 bac 1s 
e:=1, index: 1, fai f(a), 
步 3 WIR Vf Cn) [ames JUR 
Ga 一 — Vf (ay). 
步 3 WDR Reis b—index—4, 则 转 步 生 (3.1.81) 
(3.1.32 a ME ms0 或 元 定义 , 则 转 步 抽 转 步 
5, 
Jb 4 Spi — Snader; Index: =F; 
ARIETE SEIS (2.5.8) (2.5.9) RK 03770; 
JB pi 
TR f (m) fs 则 转 步 A, 
index: =k; f win =f Cty); ib 2. 
在 算法 3.1.8 rh, LE RUD Rk 4, 则 该 算法 对 充分 
大 的 天 和 算法 3. 工 .6 完全 一 衬 ， 且 保证 每 4 次 选 代 必 缩 小 月 标 丽 
XB. SACR 7523 OB DP OR eus WA 


(8 3.8] ik i te AE RE 57 


Pav) - fa) EG gi (3.1.58) 
Xj-—U16—1, 2, «s 成 立 , He A 6 KM A oR os EE 的 


(i. Hawa A 
f (n) = min f(a), (3.1.56) 
BR baie th H.1.56) ELA 
fot) Sf 7-1), (3.1.57) 
EARE Hz HU ka 70 oy JE 
lim inf (za 一 一 cc (8.1.58) 
Ba 
lim inf (Vf (a) |a 0, (3.1.59) 


§3.2 Jt Be te BE A 


tt ap BABE RE (Conjugate Gradient Methods) 32 4] Fi Bt Br 
Bb RE ZAG ye AE SESE PE 2x 388 38 75 IB Jr HK. 
SB HR E OKRA, BI 


flaw) = gst ya Ha, (3.2.1) 


Ee gE R, HER MRE. 3:987 U4BgxE XXI. 

定义 8.8.1 g HERM 对称 正 定 ， 对 E” 中 的 任何 一 组 非 
EAE dy, da, ---, Om WME 

d'Hd,-0 (b%j), (3.2.2) 

MER dy, da, "0, dm AZ H-A, 

BART, WE dy, +, da E H-I, M da, +, dy eR 
Hix. BERMEARI TILA HE H-4 hy 51i 
di, day e, dm 由 于 ds, e, d, REEK, 我 们 可 把 w 表示 为 


c= ad, (8.2.3) 
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将 (8.2,3) 代 入 (8.2.1), ARSE (3.2.2), 我 们 可 把 求 f(o) 
极 小 转化 为 


$ Tey 3 29T 
min > ay g od Hd; ) (8.2.4) 
显而易见 , (3.2.23) 的 解 为 
a;=——djg/djHd, {=1, 2, +, n). (3.2.5) 


ELT 6 ee 262235 o,($ —1, 2, o, 中 部 是 相互 独 立 的 ， 我 们 并 不 
ZR- FARANE n Ho-3t987T09. Ha. foE-—FBA 
有 一 个 方向 do BATAAN AG (3.2.5) OR IB mz， 然后 利用 荣 种 方式 
得 到 一 个 与 d H-A das FERIA 8.2.5) 计算 os ET, 
下 去 , 直到 把 or Ray. JERK IER ARP EBRD A 
d.. 


HRE t — MOSS A7 18728 73 Ind Pr DUREE 7 Io, BE 


dim — q= — H rit g, (3.2.6) 
AR Ip iB xd S SR IE ROR AP E a 
a= 1g1]2/ gi Hg (3.2.7) 
条 Wa = £4 + 04, 
由 于 oa 是 由 精确 线 搜索 给 出 的 , wh 
gid,=0, (8.2.8) 
Bit EX T Bx 
da= — a+ ıdı (3.2.9) 
AUR d. d,H-X12B. 不 难 求 出 
Bm Ge (8.2.10) 
对 任何 8291, 30 PR EE TTL 
Gym — gupit Eriet S aid, (3.2.11) 
[818 di, Ej du, +, d,EH-JC5g,. ALR A E HT UE 
grid. 0 — ($—1, 2, «+, X), (3.2.12) 


MeL, RE guai. WB (S. 2, 1L )GK IB — PES P, «+, dE-E 
je RE RET tel, 事实 上 
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Git Arya = — | gualls, (8.2.13) 
(3.2.1) SUI gi 是 ds, =, d 的 线性 组 合 ， 所 以 从 (3.2.12) 可 
得 到 | 


gerig =Ù (61, 2, e i), (3.2.14) 
于 是 
gxaiH di— gorili — 9«] 
=0 (¢=1, a, --,k—1), (3.2.15) 
1E (3.2.11) ze di H(6—1, ++, A), 就 得 到 
j^ =O, (3.2.18) 
ktit dy 
Bax TERI (3.2.17) 
HERTE RARER ULP SEE. 


算法 3.23.2 (“RBM BE EGO) 
1 BH € RB cux gil 一 0 出 怪 ; 
d= —9,, k=], 
步 2 计算 精确 搜索 步 长 | 
on= — ge du/ di H dy (3.2.18) 
Dyp = Dy t ody, 
17 1 gals = 0, SN FF; 
由 (3.2.,17) 计 算 Bw 
Ot 一 — Frit Buty (3.2.19) 
一 十 SH a. 
由 于 dy, sd AR H-3Xyg, 从 人 3.3.13) 可 知 必 存在 mn, 
使 得 


Gm =, (3.2.20) 
于 是 我 们 已 得 到 了 如 下 结果 : 
定理 8.%.3 算法 3.23.3 经 过 不 超过 ”% 次 选民 就 会 终止 ， 即 
存在 man 使 得 
G m1 270, (3.2.21) 


WF EP—U lakam Ba 


60 BS E BER ICE SD [38 = af 


ged, = — higala (3.2.22) 
d; Hid;=0, (3.2.23) 
gids= 0, (3.2.24) 

gi gs=9, (3.2.35) 


Kin j=, 2, ---, E—1, 

证 明  HpdsnmWEXBEA3.2.23)B&35. X53X(3.2.21). (3. 
2.22). (8.2.24)31(8.2.25) 4-99 H (8.2.20) , (3.2.13), (8.2.12) 
$3(3.2.14)28 81. B 

利用 定理 3.2.3 AA. 5:8 Xv f (a0 JE (3.2.1) B, 下列 公 式 


Bu | gueils/lgxlls: 3.2.26) 
Bx (grst 9x). Jarai lH gx (3.2.21) 
Bu= —gu«il/d £2» (3.2.28) 


都 和 (3.2.17) 是 等 价 的 ， 公 式 (3.2.26) 和 (3.2.27) 分 别称 为 
Fletcher-Reeves 公式 和 Polak-Ribiere-Polyak 公式 (参阅 
Fletcher 和 Reeves, 1984, Polak 和 Ribiére, 1969, ME Polyak, 
1969). AsR(3.2.28) OR A 4E FAX CR Fletcher, 1987), 5 
然 ， 当 目标 函数 是 二 次 的 情 名 下 ， 在 算法 3.2.3 中 的 后 用 (3 
2,26) ~ (3.2.28) 中 任何 一 个 式 子 求 都 产生 一 相同 的 点 列 . 但 是 
YF — ABE AT SE 2c EE 2 3C (3.2.26) — (3.2.28) JF ABE 85 Dr, 从 而 
导出 不 同方 法 ， 下 面 给 出 的 算法 是 基于 (3.2.26) 的 方法 ， 
算法 3.2.4(Fletcher—Reeves 方法 ) 
wl 8GiecE,0«es-1, 
d= —g;—Vf(z), b: —1, 
#2 mR [glass WS, 
利用 某 种 线 搜索 方法 求 ou 
Typi = Ly T yd, 
HS 利用 ‘(3.2.26) 计 算 Bs 
bit — Frya T frn 
Bl =A-+ 1; 转 步 2. 
xp 3 中 利用 (3.2.36) 计 算 Bx thi APA (3.2.27) 计算 
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P; 则 得 到 Polak-Ripiére-Polyak 方法 ， 简 称 为 PRP 方法 . 下 
面 我 们 考虑 算法 3.2.4 Bg e SY TE. 

设 目 标 函 煞 . 六 wm) 二 次 连续 可 徽 ， 且 盯 算 法 3.3. 和 产生 的 点 列 
BAT, w> 由 精确 线 搜 索 或 者 韭 精确 线 搜 索 求 得 al 
2.5.1 和 引 理 2,5.3, RTA AL, fe OO, 使 得 

F(t) —f (eet adu) = —O(dzg)*/|d,]*, — (8.2.29) 

XERR3.2.0 1$ f(x) HUE TT, fey} d pk 8.2.4 产生 

ET 040 由 某 种 线性 搜索 求 得 满足 (383.2.29)， 且 存在 常数 


ba E 使 得 


| dE Vf Cay + aud) | — bod Bf Cay) (8.2.30) 
XI— 5) E RB RIAL, WESS 
lim infl gris=0. (3.2.31) 
证 明 ”首先 用 归纳 潜 证 明 
dugat (grla el gud, (3.2.32) 


其 中 oueby/0-—50-c1l. (3.2.32) BAM ol gx, 假定 
(3.2.82) 3] &—1, 2, =, é HR, 则 有 


diragi t eels | = | aH [gid | 


«bil gual oe 


< bal garala L tH u) 
4l gizi la. (3.2.33) 


BDG.2.32):4 — M b dU aL. d (3.2.26) 7B 


ol galt 19-4 TAHER. y rote! 


«Mails Mo |d,|i-r2ulgs..li. — (3.2.84) 


| 
& ty ldla igla 则 有 


5, ah t Tit. (8.2.95) 


2 RE TES H HIER E [1s — 3t 
in XR xg 38 xn. WY FEE 5-0, 使 得 


[geji (3.2,36) 
i—i RIGA. (3.2.35) (3.2.36) ERA 
to EP btth, (3.2.37) 


另 一 方面 , 由 于 点 烈 Gs) 有 界 , 从 面 有 
oo > 3 (fon) —f (aera) 


> xdg) 


225-219 


epee AXI. (3.2.38) 
ETAF AA Wm Ig. "^ Ase, MK (3.2.88) nl Ang Er 
$e | (3.2.39) 


Mu. 3X (3.2.97 Ra. WPT PRE ERS. d 
Powell (1984au) 在 精确 钱 搜索 的 假定 下 《【 即 如 一 所 证 明了 定 
H 3.2.5. Al-Bseali(1985) 将 Powell IRE SSE RRA 18 us 


(b»—1/2), BS, HF b | 3», 1), 非 精确 线 搜索 的 Fletcher- 


Reeves 方法 是 个 收 伍 们 是 -个 迷 ， 

对 于 另 一 个 重要 的 共 辑 梯度 法 PRP FEC A 3.2.27) 
£118), Powell (1084) Zi T -P ARM AT. BREE PE 
的 PRP TRER ASI m 在 6 RI. Xx 06 点 中 任何 一 点 
Ab AS ce Fl bp OA BO Bee. ix Pe ep n x5, 
ACS AESE ITS 4, PRP FH Pletcher-Reeves 方法 好 得 多 
(Jl, Powell, 1977), hT Powell RAT. BRR A IRE HER 
所 数 二 次 连续 可 短 ， 那 么 无 论 旦 精确 线 搜 索 还 是 非 精 确 线 搜索 的 
PRP Fy FARA — HB E C= 1, 3,…') 使 得 

lim int Vf (x) 12770, (3.2.40) 


$3.2] jt m AO OH 63 


UTE Ae BSE SEP RETE CHI 应 由 (3.2.38) 给 出 )， 如 果 每 次 选 
[X ox, 均 由 精确 线 搜索 给 出 ， my 
—dkge= | gxlz. (3.2.41) 
TEH T REE PI Fleicher-Reoves 方法 一 样 ， 必 有 (3.2.31) 成 
立 . 对 于 非 精确 搜索 的 情形 , 有 以 下 定理 . 
定理 3.2.6 BJERE, {on} deg PF EEIEPUIE 


有 界 ,四 >0 由 某 种 线 搜索 求 得 满足 (3.3.29), 且 存 在 常数 Da 
使 得 


Od F (ant anh z» bad Vf (ay) (3.2.42) 
lim int] v f (y) a=0. (3.2.43) 


证 明 ”与 定理 3.2,5 IR, 首先 , 我 们 有 
0 —dig,--lgxli— By-19i Ap- — bal gali — (3.2.44) 
于 是 


| d 1] | Loss i Tel 1d, [$- 2 ideal? of, 165 


<l grali EE LAH (8.2.45) 


318 (3.2.44) 90 (3.2.45), AEM 3.2.0 KER JLOP-— RE, 可 以 证 
HH (3.2.43) 4^ FR xr. i 
尽管 Powell 的 例子 说 明了 PRE 方法 对 一 般 非 线性 函数 可 
能 不 政和 合 ,但 对 于 一 致 上 函数, 有 如 下 结果 ， 
定理 3.2.1 RS DIKES TH, HB-B, HERS 
9770, SME y, zc E^, 均 有 
(y—2)T[ f Gp) -Vf@))] nly — 212. (8.2.46) 
EE 022-0, EEG £X TE GB A E (2.5.8) 55 (2.5.9), I H 
PRY JPE HAF ow) 3o A 
lim [xf (2) 13—0, (8.2.41) 


证 明 假定 定理 不 真 , 则 存在 92-0, 使 得 


64 梯度 法 和 共 轿 梯度 法 Ci — 


EAEE (3.2.48) 

对 一 切记 都 成 立 ， 由 引 理 2.5.5 和 引 理 2.5.6 ER 200 2 
0. 便 得 

fim) — f Gy? zz | zy — Duga l2. (3 .2.49) 


由 于 f (2) 328, B f (2 FPES FR 


È Jaaah E Un) fao 


(3.2.50) 
从 而 有 
| Bx| = | gus: [Lorri — oul lgl O, (3.2.51) 
ee (a BOE, Ain) OAR, FRA. AH 
ideal RE gant + | Erl Leah (3.2.52) 
THE dl CER. 对 于 精确 搜索 ,有 
dngr™— —| gxls, (8.2.53) 


对 于 阿 米 久 型 非 精确 搜索 . 我 们 有 ( 当 充分 大 时 ) 
|dTgvl =| — igali + Brgrdr-s| > doi. (3.2.54) 
于 是 , 当 充分 大 时 


_ 1 igl? 
cod, — gy)? A33. (8.2.55) 
办 为 19,125, Fld.) 上方 有 界 , 必 存 在 5>0， 使 得 
co* (dy, — x) 298. (3.2.56) 
li f(x) FAC. 由 引 理 2.5.1 和 引 理 2.6.2 STAR 
© | gul d008*(dy, ~ gu) < +00, (3.2.57) 


AA, 1JA(3.2.50):$2(8.2.48) 593.2507 IH] DRE E 
发 散 ， 这 一 蔬 盾 说 明定 理 正确 ， 目 
F KB fete SI. 4A RRR 2.1, RDA 
等 价 于 求解 线性 方程 组 
Hog. (3.2.58) 


不 难 发 现 ， 算 法 3.2.3 8852 E77 REEL GC PE DUE ee th 


$5.9) Hi pe Eri ee o HE 63 


的 . FE —-P RRMA HESE HERI Fletcher-Heeves 
Jj RIES M. Hostenes 和 Stiefel(1952) 提出 的 解 线性 方程 组 的 共 
Wo bp BE De ee RET EK. 

JC S Bp EE HEB LS IRE BEF (3.2.6), MRA + BR 
Fi AR ERTS A, A X Bt fe ee PR 
不 会 有 限 终止 (Powell, 1976b)， 而 且 从 下 一 节 的 分 析 可 知 , Jis 
梯度 法 的 收 伍 速度 公 是 强人 性 的 ， 

Powell (1077 ) 32 Wi EF ig (Restart) 技巧 , ESE ee BREE PERK 
IV n 2p FE 2S BT LES RE ROMS FP RRR A. WTE 
rniPPRA-KEARETRAAKBATA FH, BELICE JE YE 8 
£t E) See Fe AE PE A] RAUL BAe Ra. AN I 
Fe RY 3E 9 BB RE TEASE FB Re RY AE E RE ERE 
HRA n RERA, BD 

lim reis T iso (3.2.59) 

TAE, RNBPMBFBRURE EEEE pudica PEYD AE TE FI 
Boe SC Br 73 DE 3B Eb Ie SEE JE CER HE HE Rog BESTE BN fe. 但 令 
AA HR, Fleteher(1987)2y Hi Ej Ei ii 25 JE. 2 HA E DT te BY 
Fletcher-Reeves Fj Efi 38 2T 38 A PRP HRA Eo I 28 Hy 
F'etcher-Reeves 方法 和 PRP FREES. eI, 重 和 开始 技 
术 对 共 罗 梯度 法 的 改进 没有 人 人 们 想 香 的 那 必 大 . 

关于 趟 三 方向 法 的 一 些 推广 和 详细 分 析 可 见 Dennia 各 
'l'urner (1985). 


$3.83. JERR RARE TE 


Sti pe BE e Ho LX SE IE TE, (ART ~~ UR RAY SE RR ER Be 
f(@), 只 有 经 站 若干 次 选 代 后 ， 和 迭代 点 都 在 解 的 附近 ， 我 们 玫 可 招 
Fo) 近似 地 看 成 二 次 函数 .即使 考虑 最 特殊 的 情形， 即 f GOXERE 
的 附近 是 一 个 凸 的 二 次 函数 ， 我 们 也 不 能 应 用 已 有 的 一 次 终止 第 
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R 这 是 因为 一 般 说 来 , HAR 6771. 都 有 

chy, — Fx, (3.3.1) 
Pr EA. Fa Y RASC SE Pe Se HE ES BA Par eB Hc Se YE; BOITE H Pn ES XE — 
IX BR SX 


KOT E aT Ha, (8.8.2) 

H.E E EX SR U Io. 是 任 意 一 个 下 降 方 癌 , 即 只 要 求 
dig,«.0, (8.3.8) 

我 们 尾 定 每 次 选 代 都 是 用 精确 搜索 确定 步 长 ons 于 是 有 

4.4.3 = Dy F aby, (3.3.4) 
Cyt — Gera T Pa, (3.3.5) 
Juri Get dy, (3.8.6) 
Grau — PEE: (3.3.7) 


对 一 切记 之 1 均 成 立 , of 和 局 分 别 由 [3.2.16) 和 (8.2,15) 确 定 . 
M(3.8.5) XX HIA dasa F gue: 可 由 x 表示， 利用 精确 线 搜索 性 质 
fü SEE 73 15] BS TEE Ja PI 49 


Gy ei (dreit Jye =O; (3.2.8) 
Jesi Arei t ga) =Ù, (3.8.0) 
对 一 切 5-135] Y. 
91x38 8.83.1 HE 
dyt gy 7 0, (2.3.10) 


WU zy ASD 或 者 gy= y= 0, 
证 明 (BRE A> 2, 由 (3 3.10) MSGR f A] A 
GT aHgye--d, ,Hd,—0 (3.3.11) 
(3.3.6) fRI(3.3.11) T7 JEH 
d' Heg, mat r [.Hd, 4| 2 
kit Fkk GT Hd, (3.8.12) 


此 一 


$18 (8.8.12), (3.3.8) $0(8.8.9), RIA 
dx. 1H gy 1— | Jr- dea. (9.3.13) 
bh gr- 5 Hd, 在 同 -- 个 方 千 , 从 而 必 有 gg 一 0。 


$3.31 Fe Be HE HRS) E EL SY PE 47 


H fH BO £x 19228 Ie SESE A I: 
di iUud = gt LL E dy D, (8.8.14) 
于 是 
9219877 Jiri, — Aat Ba- 10-1) = 0 (3.3.15) 


Xj- Oke 都 成 立 ， 现在 我 们 给 出 一 个 类 似 定 理 3.2.3 AR, 
引 理 3.3.2 BEREBER EN RRL, BT 


Iv+i =O, (3.3.16) 
ÜUüH»]E&-—N,N—i1,e, N —i--1, 都 有 
dyt gx «e O, (3.3.17) 
WR 
dT Hd,—0, (3.8.18) 
g79,—0, (3.8.19) 


Yu N-—I«icj«N mui. 

证 明 ”对 于 t=1 引 理 显然 成 立 , RRS i= bo Ro, 
TEH, BENSA XP £—io--1 成立 ， 兵 圳 证 明 (3.3.18) 和 
(3.3.19)8f =N — lo 1 Al 6j WN RBI, 

dy 1-14 d;— Byl; (d i t gu-1,) Hd, 
= Branar Hd, 


-| m Bylu-39k-uUN = =N 
Gy Bl oigk-n[gna—qg83o RN 
=) .. (8.3.20) 


Ui-n-19;— (o x-u— an- dai 1) gs 
= — ty in ld H 9; 
= — y uid yu iH [dy — 8, 4d,1] 
= i), (3.3.21) 
于 是 由 归纳 法 好 知 引 理 成 并 ， 
利用 上 面 的 引 理 ， 我 们 可 得 到 下 面 一 般 情 形 下 共 斩 柳 度 法 的 
二 次 终止 特点 : 即 如 果 有 限 终止 , WV SE IETE RUE] nri REA, 
如 以 下 定理 所 述 ， 
定理 3,3.3 PEHME- KAK, MARR RK 


68 HR HEARE [第 二 但 


PERE PETES ER RG SX E, BE (9.8.16) mar, WAR N anti, 

证 明 — "EDEN nc-d 4i1-N—2,B85283.1.151(3.3.17) 
moe. MWA 

g79;--0 (3.8.23) 

对 所 有 的 ae; NS HDEIEBUEg(G—2,--, No TES INI 
EEM, HERTE N RERET). 7T 35(3.3.22) UG BÀ 
Re 中 存在 一 4>n HEEZE A, 厕 这 是 不 可 能 的 , 这 
—F JA eee. B 

由 于 


Fona) — f). gla H "gas 
f Gs) — f a") gH 1g, 


<i, (3.3.28) 


其 中 co(n Ha WEAN RAE) SE. R 
[x3 dE Sg BRHE ER AA EE E a ERI. THA, Re 
HMR AS 7 ER GE. EA it BEIE AT E RERS. 
假定 算法 不 有 限 终 止 , 故居 有 ， 
dyt gy O (3.3.24) 
SH kd. 首先 有 以 下 引 理 ; 
引 理 8.8.4 
Hd,— — oy! [dy (1+ Bydyt Bdr-a (3.3.25) 
AG BY Ao 1 By NE. 
证 明 (3.3.6)41(38.2. DAKE 


H dy = o [95.1— gu]; (3.8.26) 
Gyi = — Opa t Pd, (8.8.2 y 

EDU E—1,3:(3.8.2 7) bay k $& m &—1 后 得 到 
Ox — y+ Bi 18-3, (3.8.28) 


Hj (3.3.26) ~ (3.3.28) Bl n] fiE SS 18 (3.3.25), I 
5/2 3.9.5 X] EA SE NS T1 HWE dy Ott, mre hess 相互 


$3.3] HE p BBP at E a E 63 
O -jk HE, REH 
dig,—0, b&jcé«ck--E-1. (8.8.29) 
证 明 ”利用 精确 线 搜索 性 质 和 引 理 中 的 假设 , BERI 


dg dF [gnit Z 2792] 


(- 1 
~ 地 | guck D, a, Hd, | =0. (3.9.80) 


从 而 31 理 为 真 。 B 
3132 8.3.6 对 任 给 的 正 怠 数 1 WE dr, dye ++, ders 相互 
H-3k9s. 出 dyes, do, "tts y epi 世相 互 H-4. 
证 明 显然 ,只 需 证 果 Ospa 与 dupi ($= 1, 2, v, i) JE SE. 根 
TE du HELM dept H day: Hi, AEF ikiii RNa 
H (3.3.5), (3.3.25) 8(3.3.290, 可 得 到 
dineti dy = ( — Fugit Brg ret) Hd, 
= — ppi di dj 
G3 gert (died — (1+ B+ B, 3d.) 


=O. (3.3.31) 
于 是 引 理 成 立 . F 
te LEE dy, da os, da 相互 AKG RALER, Sle 
3.3.6 WA 
dT Hd, 0, (8.3.82) 
m EHUTSÓ. 


3|18 3.8.7 Wd, da, =, di 相互 H-4, H(3.3.832)], 
AL, Vor Big k=l, HA s, dy, vtt: Gye ned 相互 H-3tifx, H 
dir Hd, x, (8.9.33) 
证 明 AAHH FU ur] SIN 6—2 成 谋 就 足够 了 了. 
M 5138 8.3.6 知 da, ++, daa WE H-H., H8 (3.83.25) 81(3.8. 
29) nT f 8 . 


d; 2H da E ( 一 站 FS 十 Brad paa) H da - = g Ta H da 
"Og qr ua(dg— (1+ Ba)da-- Bids) 


Te BE EMA [FE 


-如 g Loads = a Bi goes Guo Hd a) Td. 


Lar Biondi. au Hd s (8.3.34) 
MM SA k- Ama. S 
下 面 的 引 理 指出 比 租 a lle/d gale ARNE & EETA — 3XC 
AA, 而 且 指出 搜索 步 长 mm HELA PARR. 
引 理 3.3.8 HMHI kl, A 


LS haale gels Kalil), (3.3.35) 

1 1 、 

Kieth) ^H (8.8.36) 

其 中 Kf) =01( A) /o.C8), ex(ED o, (H2) NAAR 


JE (AN fe ETE (RC. 
证 明  (3.8.85)89 PRS NS .3.5) 直接 推出 . 上 出 
(3.3.6) A B— gtde= ligula 可 得 
Ox | geraj = gut on H ds |a 
= | 2512-2091 Fd, +d | H dl 


'2 1, ri 
=f gel ( grli Fd f -1) (3.3.37) 


(dy EE dy 
于 是 
d$ Nall? [d 18 Hda s/ (dp Hd) 
« K (A), (3.3.88) 
Wai (3.3.35) GE. ih (3.8.9) m(3.8.35), (3.8.36) 8. 
T lm. 12 
ow — aed, 7 fus Gia, «un o 0935 
以 及 
Oy = | 9 — | df 
did, KDEA, 
> ETD: (8.8.40) 


M(3.8.89),(8.8.400 RARA (8.3.36. M 
ETXEZ, YL UE See RAEE E JE RTE 
的 . 


$3.8] Fe he EP RE EAS P óc S Me 71 


定理 8.8.9 ed, --, d 相互 H-4. 8(3.3.83) my, 
70] IE Pu Be BE YER Ur ux BE IX Le PERS, 县 对 任何 点 都 有 ，; 


beats | 
grees la> ipee boul. — (8.8.41) 


证 明 81 (3.3.6) 0805]38 3.3.5 可知 
Jila = [Jeri tarh dr) da 
= Or ead uui H dise. (3.8.42) 
于 是 只 需 证 明 (3.3.41) 对 一 切 ba, UU ER RAE UE SUE E 
REREH. 
(3.3.34) RAM, 我 们 可 证 


drisi H dy = Bye iio ad bua H dy (3.9.43) 
XI— 9) bE. BPR, (3.3.42) 28 pl 
Tian Oy = Or oa LH by, (8.8.44) 
所 以 , (3.3.43) #1 (3.3.44) n] (83i Hb X 3 
g HEI CO— Ba dO TARREI, L4 E, (3 B. 45) 


EA Del, H(3.2.15), (8.2.16) $02] 31 3.3.5 n] Ans fj b 
都 有 


guid, _ gerildyei— (14+ Boda + Ba 1d,—1] 
Bam uu, c e d, o on 


= | gasak | gull. (3.3.46) 
H (3.3.45), (3.3.46) $81(3.3.38) 749. 


iml 
LERTE = | Foros | lH | Bi elec 


2 L 


> | Bighsads| AAE LKH), (8.3.47) 
入 一 方面 将 
Fetes | S| geezer sl ds 
< grrrilalgrls VEE), (3.3.43) 
AS 3 47) (3.3.46) A Bei (3.3.41) Ama, B 


E POPE TU Ve DP E [第 三 章 


83.4. JERR RES Ea ee 


22 pA IER, HPPA PO Pe 
RHF: 
Gist = — Qkii-cF Bitty, (3,4. 15 
因为 F(z) 不 是 二 次 函数 ， 我 们 不 能 用 diu du O0 来 确定 A. 0 
Hi P ERE RIAL, 存在 EC CO, 1), [ES 
Ou Gi [ea 一 gy | = wt tade) tn, (3.4.3) 
Pr LL ay FA S&F 


diril net Fu] =O (3.4.3) 
来 代替 二 次 函数 时 的 dp. d,—0. Bi (3.4.1) (3.4.3) HEAR 
LA 
py Eat (8.4.4) 


ECHR yy= fni ge BR, Jom) 是 二 OX pg Tc h, (3.4.4) fil 
(3.2.15)JE SE tray. Perry (1978) Bm, M B, (8.4.4) 5X8 h 
Mt, (3.4.1) A] BS pu PSE re R: 


dyp ™= 一 (1- qs Jue 


- — Pays. (3.4.5) 
显然 Ply. <0, Bibi P, 是 一 个 从 R 到 yy 的 零 空间 的 仿 射 变换 . 
考虑 更 一 般 形 式 的 (3.4.5), Rn 

Ai, = — Pagers (3.4.6) 
束 是 某 mxm 和 矩阵， 由 于 我 们 希望 das. 是 下 降 方向 , 故 要 求 Puoi 
j£. 


ga P Geet 770. (3.4.6) 

BOR Ty OL, ERIE EMS PB .4.6), PREM. EE 

EE PNA RRA Py, =0 不 过 RNA, FMEA 
(3.4.3) 并 不 要 求 Pay 0, TREE 

diiy = 一 Ju P ys = 0, (8.4.1) 


$3.4] Set HE E IRDE Ib DOR 73 
在 精确 线 搜索 的 假定 下 , 只 需 


Play, — ond; = 8y (8.4.8) 
AET. (8.4.8) EPR SR Te, 因为 我 们 有 
CVF (9) ] yu c3 aua — y 77 One = By (3.4.95 


m f He P, 使 其 满足 “ 拟 和 牛顿 "方程 (3.4.8) 的 方法 很 多 ， 在 下 一 
章 中 我 们 将 详细 讨论 ，RSphanno (1978) 利 用 BFGS 公式 得 到 
P=I— Me +(1+ PAE Julio) mer (3.4.10) 
Shots BEDE 


30 JR. sly, > 0, GP, AHEGEE HUE 4.95. 由 (3.4.6) A 8l 
Qu pim — Fiat yu pena. 


SEU 
+s [ (1+ IIE Jis \ Sgun — Wg | (3.4.11) 


Sh SUR 
于 是 我 们 可 给 出 下 面 的 算法 ， 
*ES3.4.1 
#1 Bit ae R*, 520 
dm -- gy 8:1, 
步 3 jg «s WH, 
Fl FH SAP RES RTT TAR 0,70, 
Lupi m Dy 十 Os 

步 3 HAB. ALDIE dri 
bid, $676 2. 

由 于 (38.4.10) 给 出 的 忆 5 Pus KAKA 所 以 算法 
8.4.1 qd ERE X6 do da c HE 7b CUL Buckley, 1982), 算法 
9.4.1 ieee PR EE S de 由 (8.4.5) 定义 ) 无 沦 是 在 内 存 还 是 
EBRKERNHA RRR A Bins, PERMA EN EHE ph 
EENS. 

 — Be IE A Fee BRE EM E (Preconditioned) ct H 
HE, 它 的 基本 思想 荐 对 一 个 第 定 的 正定 定 降 A, SRS RR 


~~ 1 
a= A ?a, (3.4.12) 
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re i x 
T) f() =f( A? 9). (3.4.13) 
& Sym A In, je VT (n) m APTS (n) = A? gy, 则 有 
d; 一 A *d,, gi A fk. (3 4. i145 
MMAR. 4.5) 3E IR 
dium -( A — dui EA "M (3 4 . 15) 
PESE 
E (3.4.10 2S DL, 我 们 还 可 以 得 到 公式 
di 一 五 id (3.4.16) 


其 中 
P= 4 一 .22 二 如 y (14 HA Y Rh 
SH SyME KY M 
(3.4.17) 
mí3.4.16):0 (3.4.10, WER A-I, WS) Mic ise p 
法 ,如 果 A= P, ,网 得 到 的 是 BFGS NE. REIS 
成 是 一 种 特殊 的 拟 牛 顿 和 法， 无 颖 为 我 们 对 共 匈 梯度 法 的 理解 提供 
了 一 个 有 力 的 工具 . 
另 一 种 共 竹 梯度 法 是 利用 负 梯 度 以 及 前 几 步 的 搜索 方向 来 确 
定 下 一 步 的 线 搜 索 方 向 , 即 du. A PBR. 


dyer 一 4 二 Bihat Bda. (3.4.18) 
Tl ER- ERN. ROS, KARBRIOBRIK ARK 
时 , 这 些 B49 均 为 零 ， 对 于 一 般 非 线性 函数 , ERE BW 有 可 能 


提高 算法 的 效率 ， 例 如 , Beale(1972) 2815 KAJ 1825 Je BB BE 2 
用 到 


Gy ua 一 — Agua T Buda "a 7T (3.4.19) 
其 中 局 是 最 后 一 次 重 开 始 的 于 标 。 当 加 -名 时 ， 
— gie ux — Fini Ay a 4 X) 
Fx d L9. i 7k dia è ( ^ " ) 


PDT dEREB S G diu (8.4.1) Be), a SAAB 
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JC SB ERE (3.4.30, 册 S, HC3.4.4) E — güsE, He, Riles 
HftseEXx —UWDS.HW Se, MAAIDEK Ze RAAT 
zx. WIFE By 使 得 算法 有 效 , 仍然 是 一 个 值得 研究 的 问题 . 
A (8.4.11) 8I(3.4.18)32 4128 0, 考虑 一 般 形式 的 公式 
dupa = — Quia Badu t Yudu-1 (3.4.21) 


" dupi ™ — Quit Buty t Put (8.4.22) 
Jer BEI. 

HUT JE SE Po RETE RUE — (X AE IE TE, AR RES, 程序 简单 等 
fia: 它 将 是 无 约束 优化 , 特别 是 大 规模 问题 的 一 个 重要 方法 .对 


它 的 进一步 研究 是 十 分 重要 和 和 必要 的 . 


8 3.5 一 个 一 般 性 收 化 定理 


在 本 节 中 讨论 线 搜 索 方法 的 一 个 一 般 性 收敛 结果 . 先 绽 出 绥 
搜索 方法 的 一 般 形 式 . 
算法 3.5.1 
步 1 Bua CR’, Oeil, k=l 
步 9 WM ive) axe, WE, 
求 出 搜索 方向 d, € B^, RAE 
dT f (ay) <0. (3.5.1) 
步 3 FASE eA ee PEOR WP He o3; 
步 4 xi = ORT Og; 
b:ekb-r1,$63p 2. 
算法 3.5.1 没有 给 出 如 何 求 搜索 方向 和 计算 搜索 步 长 的 具体 
方法 , 它 是 所 有 无 约束 优化 的 下 降 方 向 线 搜索 方法 的 概括 形式 , 不 
难看 出 ， 算 法 3.1.1 和 83.32.3 都 是 算法 3.6.1 的 特殊 形式 ， 我 们 
iu & AAI du MARETA — Vf Gn) 2. IRI BJ 36 £8. 于 是 有 


| diVf (ay) 
costs | dla vf Gola? (3.5.2) 
TH 9138 2.5.9. 很 容易 得 到 如 下 收 俩 性 结果 ， 
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11:3.0.2 Vr foes IDE, E Vfw) E Lipschita 
F £F (2.5.13), 如 果 算 法 8.5,1 产生 的 搜索 方向 大 满足 


翌 cos"gs= +00. (3.5.3) 


if BRR aE (2.5.8) (2.5.9) EAE, WAI 3.5.1 
产生 的 点 列 a rg ERE DE BREF IL a DS 


lim infi Vf (2x) | aD, (9.5.4) 
lim f (wy) = — oo (8.5.85) 
JE T, 
证 上 明 M5 2.5.3 AH 
Fe) — f (ery) = B cos, | VF (as) ls (8.5.8) 


HP g= ba M 是 一 与 下 无 关 的 正常 数 . 如 果 算 法 不 月 限 
终止， 网 对 一 切 a> 1, TE 


k-—1 


fn) —F Ce) = 2; [f (m) —f Cia) 


E —t 
=ß min IVa |B T cos, (3.5.7) 
* ban i. 


AA (9.0.3) MR, BOREAS B. T) E AR I8 (3.5.4) (3.5.5) 
至 少 有 一 个 成 并、 上 

从 定理 3,5.3 可 知 , HERH h RET m/2, 或 者 趋 于 mw/2 不 
AAR 3.5.3) OE), NR RE ERR PRS RH 
前 .不 难看 出 ， 在 定理 3,5.2 中 将 线 搜索 条 件 换 成 精确 线性 搜索 
dis VERBI. 


^ 43x 


w+ WM 法 


TELF UL HE JE— iF EMEA CHESRKEAAMB 
AR 71 18] dx I EL 
Byty = — V ft), (4.0.1) 
其 中 By 是 一 近似 Ve. nA B.iER WE 
ARE. H+ IER AECEGS CE RCRDEER BE SE RP RAIA 
SS RTE, UES DA — Bt eet, 但 在 一 定 条 性 下 是 超 
级 性 收 合 的 ， 它 是 求解 无 约束 优化 折 有 利用 一 阶 导数 的 方法 中 最 
有 效 的 一 类 方法 ， 而 从 实际 计算 表明 ，BEGS 方法 是 拟 牛 顿 法 中 
最 有 效 的 一 个 方法 .关于 所 牛顿 法 的 研究 很 多 ,而 且 已 十 分 成 观 ， 
Ge TE AE OE RS BEGS 方法 好 得 多 的 方法 不 大 可 能 .但 
胡 何 使 拟 牛 顿 法 能 更 快 地 修正 矩阵 , 更 适合 于 并 行 计算 , 仍 有 一 些 
问题 值得 研究 ， 另 外 对 拟 牛 驰 法 的 理论 研究 , 仍 有 一 些 重 要 问题 ， 
奶 第 一 个 拟 牛 顿 法 DEP FRENTE, BPOS 方法 在 
SE PS Bi op Be XE PFE aS a RR 


$4.1 + Wi 法 
fee HEC ZR Ee LER] E ILES ET H 2E] Ky 
HEY. Di EB TU m 附近 ， 
f (c d) es f (ay) Fd" Vf (ry) t ATV (md. (4.1.1) 
所 以 ; RI AY ee ERR 
mingy(d) e d'V f (ax) + 2-4" V*f (md, (4.1.2) 
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(xx Vf ro EER, 则 知 ( 和 4.1.3) 的 解 基 
da= — [VIF (a)] -IV Flan). (4.1.3) 
£F Weill 73> Bh ae FA CAL1.3) EK. 
wit 4.1.1 
wl nE BE Bw, Ome, 
A= 
Wa WE IVP (on) tome, WB 
H (4.1.8) PR. dy. 
2S mS Ro; 
Drel = Ey tale — bl kk-c1. 转 步 3. 
^j T BO pa 3n, 我 们 有 收 伍 狂 定 理 如 下 : 
定理 生 , 工 .站 设 拓 二 二 次 连续 可 绩 且 一致 止 ， 如 果然 搜索 满 
Hj 
fm) fiert oydy) nghi co dr — gx». (4 1.4) 
其 中 gx 二 VY 了 (wp) noo 基 一 个 与 无 关 的 常数 ， 风 由 算法 4.1.1 
产生 的 点 列 cy 必 满 足 
lim |V f (ax) f2=0; (4.1.5) 
H zy 收 伏 于 了 2) 唯一 的 极 小 点 ， 
证 明 HT f(a)— Xu. 必 存 在 常数 ”>0, 使 得 
on (Vf (@) 27 (4.1.6) 
对 一 切 e PIRE. (4.1.40 0 Fo) JE P^ RRR TEM, Ke 
AFl h AA. 从而 存在 常数 MO, 使 得 


IV*f(os) |a M (4.1.7) 
*t— 5j b aber, BB(4.1.32. (4.1.6) ftIl Hé. 1.7) RT Ag 
cos? (d, — 47. (4.1.8) 


六 此 得 到 " 
co pà [f(zu) — f(2x41)] 


> D mM- gal. (4.1.9) 
K(4.1.9) BEAICA. 1.5) JR oz, BT (0) — 8 REAR A+B 
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KE. BELA CA. 1.5) BEAT oy, E eT P(e) E-A c. B 
(BE f(z) — UR EESE RI M, RNA 
V^f (zy) [ert d — e" ] = — Vf (ay) + V^f (a) Go — v") 
=O fe 2*2). (4.1.10) 
MRAM cud TF f(x) PRD Ae, AVP") IES, 则 从 
(4.1.10) nf ALS] FER AR k A 


lost dx — 2" 1 Of jay, — ^13). (4.1.11) 
对 于 精确 线 搜索 , 我 们 有 
EENT (ay ancy) —0, (4.1.13) 
TETE dc of), 使 得 
di [V f (my) + Vf Can + fud) d, ] =O, (4.1.13) 
M. fd FY Al 
“te — T Vv —1 
i Oe CV f (m) iz (art tidy) WF (ay) ) gx ' 
(4.1.14) 
Hy (4.1.14) np Fe 
ox l+ Ola — x" ha. (4.1.15) 
HI (4.1.15)90(4.1.11) BB By HE BH: 
lert o; — z* | —OClox— 218). (4.1.10) 


关系 式 (4.1.11) 和 民工 .16) 告 诉 我 们 步 长 为 工 的 牛顿 法 和 精确 线 
搜索 的 牛顿 法 都 是 二 次 孜 伍 的 ， 我 们 将 其 写成 定理 形式 如 下 : 
定理 和 .1.8 VR E 4.1.1 BpyU EH RA eA or, 
Vf(z')-0, Vfl 正定 ， 如 果 ox 由 精确 线 搜索 求 得 , 或 者 对 充 
分 大 的 有 有 ond, Wü RA wx 二 次 收 人 第 于 v", B 
Nowa — 2*1 - OC wr— e" 12). (4.1.17) 
WR VPP (ee) DEE TYE BE AY 8 ZR ZG SpA. 1.9) AY RE AS e 
下 隆 方向 ， 这 时 有 必要 对 牛顿 法 进行 修正 .我 们 把 牛顿 法 的 搜索 
Ji ii] 83g 4- dii P (Newton step), 记 之 为 dz. 
di = — [V*f(a3)] ^ gs. (4.1.18) 
B BEES ETE ^F BOY BY 73 TE FEE T 19:58 7) [95S DUBIE B 3e A. 


80 mo Gp dk [ Riya 
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Ti 如 果 cos(dy, — gu) >M; (4.1 .19) 
— gx. 
A og 0 是 一 个 预先 给 定 的 正常 数 , 由 于 这 样 给 定 的 搜索 万 加 总 
^ 

COE Ey, — gx) 2*1), (4.1.20) 
Bru, RRR RR EER. on MT foe) BXR AR 
v", E. V3 f(z* iF, WAB y<Vo.CV7f(o") JouVf(o")), 8E 
AXI ZG ABI & BRA 

Qu = y (4.1.21) 

M inj € ps £8 Fe p BRE n — Dolci ee. 

5 — RARE “PRPS AT BS ae M A Oy Hi E (negatire curva- 
ture}) 下 隆 方 向 ， 这 种 方法 最 日 由 Fiacco 和 McCormick (1968) {E 
出 ， 这 方法 每 次 选民 都 试图 对 矩阵 Vf CoE LDL SS dun 
所 有 的 对 角 线 元 素 da 都 是 正 数 ， 则 Vif (oe) 是 正定 的 ， 且 这 个 
LDL 分 解 可 用 来 计算 牛 慑 步 .如果 存在 du <0, 则 通过 解 方程 

L'd,—-2 > 8, (4.1.22) 


《其 中 e, (0, +, 1, 0,-.., 0)* BB tt EA I, KR fbr BA O 的 
[5] ER.) RE SR — 7 ff p AF IY du. RI 


d; V^ f(ax)d, «0, (4.1.23) 
d& 18] Elis 25 x6 (4.1.22) BAS BEL 
dy gx D, (4.1.24) 


Hi (4.1.23) 90(4.1.24), Bd, RBM flo) XE m. 点 的 下 降 方 
jJ. 
Murray (1972) E Hi — ROS] — ARI PRIE PEXETI a dl tb LIT 2 
解 ， 方 法 的 实质 是 对 VPP (an) + D 进行 DL ai. BOXES BOX 
代 时 , 有 
了 Ya + Lh (4 .1.25) 
oe DP Dy E-H ARE RRASA 


$4.8] TU RE EPA 81 


da= — LL Lg (4.1.26) 
产生 搜索 方向 . 
5 —— PP (4.1.25) +5 BI BIE EES 
de= — (V? fC ay) Ant oe (4.1.27) 


Arp A&ze0 是 一 参数 ， 当 VY 人 (law) 为 正定 的 且 条 件数 不 太 大 时 , 取 
Ja — 0, X, 取 ) 足够 大 , ORAE BE (Vf (m) + aE) e PECIA 
A. SEAT EA BUDE IS E 28 HE OF OE H M) Levenberg- 
Marquardt Fry: Ch Levenberg, 1944, Marquardt, 1963), 不 
过 ， 这 一 方法 的 不 便 之 处 是 对 AS 的 确定 并 不 容易 ， AM RR, 在 
(4.1.27) PER (Vf (o) + A41) 的 条 件数 不 太 大 ， 基 本 上 等 价 于 
HER |d, || PRA. 事实 上 , 假定 Age 0, (Vf Cee) + MI) IEE, B. 
di FA (4.2.27) 23 b, 则 dy EF Tl jo] RR 


min g7d,2- ias Fedd, (4.1.28) 


8. t diss 4, (4.1.29) 
前 解 , 其 中 AQ— fd. (4.1.28) ~ (4.1.29) SC IE ERE — ^] dri 89 
EAS FB, 人 们 发 现 , 调节 4, ELVAI TE 和 里 容易 ,里 直观 , 也 
更 合理 . 


$4.2. 拟 和 牛顿 法 网 导入 


在 每 个 选 代 点 mm 附近 考虑 f(z) 的 二 次 通 近 
Farti mfa) tdg gd Bd, (4.2.1) 


其 中 gEV flod, BER" EPRE. 如 果 B, 基 非 奇异 的， 
Juj (4.2.1) H A Ding A CIL FERAN 

d,— — By gx. (4.2.2) 
出 于 种 近 关系 (4.2.1)， 我 们 有 理由 把 唉 当做 线 搜索 方向 ， 假定 
我 们 用 某 种 方式 已 得 到 Ba $5818 5877; [B] 加 进行 一 次 线 搜 索 
得 到 oni —oy,t ond, 现在 的 问题 是 如 和 柯 确定 Bris? BM, RHE 
H Beyi 是 V?f (23.1) Bg e yr fei. 由 于 
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V? feat) Su iw (4.2.3) 
其 中 
Sy Digg — Dy = Agly (4.2.4) 
Ye = Quei — gx = V f Era) — Vf (m). (4.2.5) 
我 们 要 求 
By 1315 = 94. (4.2.6) 


(4.2.6) SE ER ha + d£ (quasi-Newton equation) RA a+ 
顿 杂 件 ， 从 而 可 得 到 一 般 的 拟 牛 顿 算法 如 下 ! 
算法 4.2.1 
li Boao, CR Ome<1, 
给 出 Bi, kimi, 
步 MR igslase, WE. 
计算 d= 一 B. gu; 
利用 茶 种 线 搜索 求 a, > 0; 
yp = Uy t ony: 
HS 构造 Baa 使 得 (和 .2.6) 成 立 ， 
ki= kti, 转 步 3 
我 们 记 H= By, (4.2.6) 可 写成 
H peiye 8s, (4.2.7) 
关于 拟 和 牛顿 法 , 目前 记号 比较 混乱 FAB 9,9 Bepi ox, 
Y= geir ge 由 于 国际 上 通用 小 号 希 腾 字母 考 示 标量 ， 现 在 逐 襄 
gH (4.2.4) (4.2.5), 我 们 用 B; RAW Vm, Hy 
表示 By ERARE CA Fletcher, 1987). 有 的 人 根据 A 是 
海 色 阵 (Hessian ) 英文 单词 的 第 一 个 字母 而 用 As, 来 表示 近似 的 
Vf (a,) CB, Dennis 和 Schnabel, 1983). 这 两 种 表达 方式 下 的 
A, ERA. 最 近 , Dy TBI, Davidon, Mifflin 和 
Nazareth (1991) 提出 用 Af, 来 表示 近似 的 Yo 和 W Ah. 
他 们 的 主要 理由 是 : 55 —..M 0 W. RR SE, 第 二 M 倒 过 来 
正好 是 玉 ， 也 现在 还 不 知 他 们 这 种 统一 -记号 的 努力 是 否 能 达到 
H BU. | 
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位 十 B, IESE, ASHEVEHH (4.2.2) 58 XLI dy AE ERE Fx) 在 
a, 村 在 范 数 jel =s" Be xx PROBE T EJIIS. 所 以 , 邵 果 所 有 
BY B. 都 是 正 征 的 , 由 算法 2.4.1 be ER i (variable metric) 


54.3 几 个 重要 的 拟 牛 顿 法 


第 一 个 拟 和 牛顿 法 由 Davidon (1959) 提出 ， 后 经 Fletcher ff 
Powelli( 1963 EMRE RLU FARMER, MA DEP 方法 ， 
它 的 修正 公式 为 

Buys — B,— Diis + tse B +(1+ Biss Ss.) tre . 
Sf 8 xfi Sy lx 

(4.3.1) 

不 难 验 证 , M (4.2.1) EM = B7 E SIE ASR, 

H,a-H,— H hyr Hy $18; ER 
Vx Hy US (4.8.2) 
由 于 精确 线 搜索 (sr VI (eua) 一 0) 和 非 精确 线 搜索 (2,5.9) WAE 
Sky 770, (4.3.8) 
Brel, Baise 4.3.3) 对 一 切 b TE. 下 面 的 结果 是 显然 
B. 

定理 .9.1 WB, ARE SE. B (4.3.9) 成立 则 出 

(4.3.1) ELH Bra 也 对 称 正定 , 满足 所 和 牛顿 方程 (4.2.0, WH 


T 
det( Bysi) = tele det (By), (4.8.4) 


证 明 我 们 可 将 {4.3.1) 写 成 
Brn=(I— use ) Bo (1— sie Ape. (4.8.5) 


Sx Ux 
则 显然 可 见 Bes. WERE AREA. 从 (和 .8.5 还 可 扒 
th Ga i= Bis, f= By ys), 
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1 1 v rr mo Mi T ep 
B,* B, B.*= I- oe I— Sees 十 
btl ( 874 X =) 

(4.3.6) 
不 难看 出 (4.3.6) 438 B XB FEE m —2 个 特征 值 为 1 另 两 个 特征 


值 满足 方程 


pe st S on 
MA(4.3.7) (4.3.6) Bp 
1 i » E 
det(By? B, B, 5) = ili eit (4.8.8) 
$$ x $$ Ue 


(4.8.9 BR543.4) F. I 
ye BE EE  Broyden (1970) Pletcher (1970) . 
Goldfarb(1970) 及 Shanno(1970) 独立 提出 前 ， 所 以 党 被 称 为 


BI'GS 方法 ; "If 3BEEAE IE 4 AN 
By8,5; By Vi 
B- = B,— Eee. | ; 4.3.9 
un " Si Bys + Salk ( 


Hyg, Hy Muni. Seis +(1+ Ye ws - e. 
x? E iy A 


lath 
(4 8.10) 
Me BE (4.3.1), (4.3.2)81 (4.8.9), (4.3.10), 不 难 发 现 BFG8 方 
法 的 修正 公式 与 DFF FRMBEELAREBRL~M-—-R, BB 
ig HE UL BURA (4.3.1), (4.3 DAS B, 与 Ay 对 换 , gs y Ht 
ERAS BT (4.9.9) 和 (4.3.10), 正 由 于 这 种 关系 ，(4.3.9) 与 
(4.3.10) $35 (4.3.1) 3 (4.83.20 HHH A, BEGB 方法 和 DFP 
方法 称 为 二 为 对 侦 方 法 ， APSR EH 4.3.1， 失 而 显然 有 
EFEM, 
4.3.2 Vt Bi 对称 正 定 昌 (4.3.3) 成 立 , XL d (4.3.9) 58 
XB Bua 也 对 称 正定 昌 满 足 拟 牛顿 方程 人 (4.2.6), WE 


det (Brr) — 5 rut - dot( Be), (4.8.11) 
Xt PAE DT AT AR EE B. 5 MUR CALM EH AA 


$4.27 几 个 豆 要 的 所 后 顿 法 
(4.2.6), BD 


Ex 
L1 


Bs,— yx, Bs, = yy. (4.3.12) 
i Mt FE fal 96cm, He p 
B+B- Ë) (4.8.18) 
必 满 足 氛 牛顿 公式 (4.2.6), Broyden 利用 BFGS M DFP Ax 
H HA RA IE Ah, 


T 
Bua(0) = B,— Dee Bey YE gu uT, — (4.8.14) 


si Bs, Sete 
其 中 
fef He Hk o o Dysy 
AU S. Bis ( He s" Bs, ), (4, 3. 1B) 


OER 是 一 参数 .在 (4.3.14) 中 令 0 一 0 就 得 到 了 BFGS BER 

式 ， 令 8 二 1， 就 得 到 了 DFP BEAR. 从 (4.3.14) 的 形式 可 知 

det (BCP) hy 0 Ay 2x VERE, FE AAA (4.3.11 (4.3.4) RD A 
det( B,(9)) =det( By) [1+6( Buya —1)]/yo (4.8.16) 


其 中 
“EH x B 
ee, em a, (4.3.17) 
3e B; TES, 则 Bays 1, E 
Brya iw Aye, (4.3.18) 


H (4.3.18) ap Al, AR yy, — 1—0, 网 wz 一 0， 从 而 Broyden ip 
的 所 有 方法 都 一 样 . 假定 Bs SEARS Bryr 130, (4.3.16) nj 
A, 只 要 


OPIC -Ary (4.3.19) 

Jj BaO wT. REEE Ber CO) B] EIER FR 
Hral) m La Ailes 4 28 T. A. 人 Wo， (4.3.20) 

= Si Han H yas 
其 中 Uy Ve {pt su, Hye (4.3.21) 


B. $— 6(8) = (1—0,/(1--0(87y, —1)). (4.3.22) 


$6 A) t W n EE a 


GE 有 正定 百 BSyys —1>-0, PORE b> 5 = Bai 0) the 


HAREE. OB EA BEAT BK M a 的 Broyden 于 族 为 Broy- 


don anak. TORUM fh (6.8.20) SUN IB Me CO) 是 区 间 
(spar te) RAF eae 是 该 区 同上 的 一 对 


一 影射 ， 所 有 的 Broyden 正 族 也 是 指 对 所 有 的 p>- an a 的 


REAR. 另 一 个 有 趣 和 性 质 是 $00) EO, 2 EN-X- WA. 
也 就 是 说 , WRR BO (4.3.1)0(4.3.9) Ft Boas 的 凸 组 台 , 则 
B tS iA PED XE (4.3.2) 和 (4.3.10) 中 BAe, BY 
Broyden #(4.8.14)25 0 C [0, 1] šA Broyden h x. 

在 Broyden ik > 


= SEU = Sy Un 4.3.93 
SrUna t Si ES. ^ ý Eye t Wd yy (4.8.23) 
Wl 453 3) (ETE A 
Bis; aa) ( Bs, 3- an) T Mes 
B. B (dirt Yr) Pit Vy) pg AUR 

+ Eo Siu S, BS; Se Wk 
(4.8.24) 

Fitts 8$) (Heyr 8) JM 

H =H (Huyu t Sr) (Huye t Sp) +9 

M3 CU» Seon + yr us "m 

(4.3.25) 


它 景 先 是 由 Hoshino(1072) 导出 的 , 所 以 被 称 为 Hoshino $3 j£ z- 
式 ， 在 (4.3.34) 与 (4.3.295) 中 把 了 和 五 对 换 ,s 和 y SBR, 得 到 
的 公式 仍然 是 (4.3.24) H (4.3.25), 由 于 这 一 性 质 我们 称 
(4.8.24) 5 (4.3.28) JE i 4a $} (self-dual), Broyden p m 
31—^r BOS RB A V] E 


= 由 一 (4.3.26) 


1 
1+ V Bev: 
得 到 ， 
Brsrsr By OE 
Bua Bum $,P,5; C Sys Sayn — 1+ JEX 


DT ie 


(4.3.27) 


g 4.8) RA BBA 97 


pit SuSE 1 
in "S E kk Su» 1 十 Vl Buys UT 


(4.8.28) 
这 个 修正 公式 最 星 基 由 谢 元 窗 (1989) 推 出 的 ; 后 来 Yuan (1990b) 
EME Broyden 族 中 所有 可 能 对 侦 公 式 时 独立 地 导出 .修正 公 
式 (4.3.27) 与 (4.3.28)  Broyden 正 族 中 唯一 满足 8= 中 的 公 
式 ， 它 可 以 理解 为 DFP 方 法 和 BFGS 方 法 的 几 FH CÓ 
Yuan, 1990b;. 
以 上 提 到 的 收 正 公 翅 在 一 般 情 说 下 均 有 Bri 一 By 的 秩 为 2， 
故 这 些 修 正 公 式 均 称 为 秩 六 站 及 anE32) 和 修正 公式 ， 唯 一 的 一 个 对 
BRERA 1 REESE 


m 
Bua By p ART Piu Bus (4.3.29) 


(Yu — Busy) "Sx 
ER ERER ESRA 
Hen = Hot 8 Php e dT (4.3.30) 
(Sy — H yu) V 
对 称 秩 为 工 揭 算 法 由 Broyden(1967). Davidou (1968) _Fiacco 和 
McOormick (1968). Murtagh 和 Sargent 1960H B® Wolfe(1968) 
独立 提出 的， 对称 秩 为 1 的 修正 公式 也 属于 Broyden RR, 它 相应 
的 参数 是 
Si Ux Sith 
0 Ty Bs OTe 0000 
对 称 秩 为 1 的 公式 也 是 一 个 自 对 侦 公 式 ， 从 {4.3.29) 与 (4.3.30) 
ALUE a 向 一 二 则 BL. 8 x; Ry; 1594 Hm. mi 
且 有 
定理 4.3.3 BB, TRIES HL (4.3.3) m ar, dup(4.3.20) = 
MY Buys EXPRESAR 
mini, Ys} <1, i (4.3.32) 
证 明 aR (4.3.32) Mae, MA (4.3.81) BD ARI 


max{ĝ, @}>0> (4.3.33) 


— + 
l— Brys * 


85 Hi AF uw (ae 


Iti AT Byn 必 对 称 正定 , 如 果 Bais (4.3.29) EM ABR IE GE, 

fi Ar (4.3.31) gg LAG O p D RUE. 

TAGS p> ER (4.8.64) 

H (4.8.34). (4.8.31) ELE Bove B se CEDAR (4.9.32) oe. 5 
一 旅 包含 三 个 参数 的 修正 公式 由 Huang (1970) SAR. E 

的 形式 是 


07 


Hy; H,— ang Hy 十 py 一 上 一 SuSe 


Vi H yd S He 
+ Gris + EHH DE. (4.3.85) 
其 中 py tye 是 三 个 参数 ; 内 (4.3.21) sg X. Huang 族 的 修正 
公式 满足 
H oig = Prik: (4.3 .36) 


BRE ps 一 1，Huang 族 中 的 修正 公式 不 满足 拟 和 牛顿 方程 ， 如果 要 
求 Huang 族 中 的 收 正 矩阵 对 称 , 则 (4.,3.35) 必 具有 形式 


H $ 
Hy.47 Ay m ^u 十 M + dye. 


(4.3.37) 
从 上 式 不 难看 出 Broyden 族 就 是 Huang 族 中 所 有 对 称 且 满 足 拟 
咎 顿 方程 的 所 有 桥 正 公式 ， 修 正 公 式 (4.3.35) 的 北 短 阵 修 正 公 式 
具有 形式 .: 
Bans By De + MM 
+ s SiS) wr. (4.8.38) 
53 —F2E MIRI BMRA 1 的 修正 公式 最 先 由 McCormick 1& 
IL CIO, Pearson, 1969), E RAE A, 


Hia Hyt B BOUT (4.8.89) 

Ux 

其 中 ou 是 一 满足 uty, OO AE. (4.3.39) Bp B eB A 
Bua m By + le Bebe (4.3.40) 


XE st (4.8.89) 4 (4.8.40) $4 m= His, 就 得 到 了 Broyden 
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(1965) 非 对 称 秩 为 工 的 修正 公 去 : 


T 
Bua B+ M RSS (4.8.41) 


Has m Hy Se Se (4.3.42) 


Hwy 
用 非 对 称 阵 去 近似 Yi 了 (ww) 和 看 来 不 太 合 理 , 但 在 解 非 线 性 方程 
组 的 所 牛顿 法 中 ， 和 修正 炬 阵 古 用 来 捞 近 非 线 性 方程 组 的 雅 可 比 
(Jacobi), 所 以 非 对 称 秩 为 1 的 修正 公式 确 是 十 分 合理 的 , 而 县 
在 那 种 情形 ( 即 解 方程 组 ), BOER BT BR BIE AK, WO SE PE ME 
BAe, xx En IL BAROLO ER 
的 . 
MERITS Broyden 非 对 称 秩 为 工 的 修正 公式 对 称 化 , 则 可 
FA FAAA: 
Bri = Bet (Yp — By sy) 8% E Se CI — Busy)" 
sis, 
— Sk Yr Bide) Sasi 
(0 (wg) c 
È H Powell(1970)$$ 8), (4.3.43) Bg it p PEE BESA to EAS, 
BC-—RERUBDPEEIE Bi 而 不 计算 Hua. 由 于 Powell MEA F 
FST TR AR. PD. 


(4.3.43) 


BO 一 By (4.83.44) 

BY = RO 二 人 AR $i.) 8x (4.3.45) 
i 

Bj*»-[BP--0B?)7]/2. (4.3.46) 


Wir (4.3.43) 5g SL AE Bia 是 BP 2 AFAR, 故 修正 
ART] RA MT LEY Broyden 秩 为 1 的 公式 ， MAACH 
(4.3.43) 234 Powell 的 对 称 Broyden 公式 , 或 简称 PSB(Powell's 
Symmetric Broyden) 公式 值得 提出 的 是 PSE 公式 并 不 局 于 
Husng 族 , 从 而 也 不 属于 Broyden kk. 

Davidon (1975) HH IEA 


90 A Bou x 第 四 章 
ag o Hur Hy |, gust 
et ISTRY, Sin 
+ owe (4.3.47) 
其 中 中 是 参数 , HE 
y= Jy Hus oe 一 —Hum ). (4.8.48) 
MN Sx Vx y eH yvy 
$y.9, C K^ 由 革 种 方式 产生 , 显然 , 当 Su = Sx Jk ™ Ye 时 ,出 Davidon 
(4.3. 47) Broyden W. 
HEMT, Yuan (1990p) 导出 了 Eroyden 正 族 中 的 另 一 个 自 对 侦 
HE IE 45K, B 


T T 
B= B,— Pete | Yule 二 By—1 


T 
= WW 
Se Busy Sx Yk Brys- i ^ 


(4.3.49) 
Aang H SSi — 1 
Hym— Hy— -es Pe PeT, ptt 
thy, sy Baya L 
(4.8.50) 


由 于 一 和 3 一 1 AA ea AE, ROAR ZA (4.3.49) 

与 (4.8.50) 是 属于 Broyden ER. ^4 Boy 时， 这 个 公式 十 分 

Ar BEGS 公式 ; 而 当 Sey, 时, 它 十 分 靠近 DFP AM. 由 于 

BFGS A 3h HE Bray H E DFP Xx Ww DEP € Brè y mr hb 

BEGS 77 3i (L Powell 1986) Fr DL MIE Sst (4.3.49) 55 (4.8.50) 

可 理解 为 介 于 BEGS # DFP [BBI-—^4- ASA. 
RIERA TIER: 


T 


| T 
Bega 7 p| B, - Pit Bu 十 - Ow ) 十 Nu y 


81 Bs, Sk 
(4.3.51) 

1 H PH Sn. 

H -i(H — Pk ty | vf ) +28 

M1 o k of H us Pv, k S.C 
(4.8.59) 


这 类 修正 公式 被 称 为 自 调节 {56lf--scaling) 公 式 ， 它 最 早出 Oren. 
<1979); 提 出 的 , 从 (4.3.51) 可 看 出 ， 自 调节 公式 可 理解 为 先 将 B, 
AE Foe RAH Broyden 族 的 公式 得 到 Fi, HA pL 3 ES Al 
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用 Huang 族 中 的 对 称 公式 (4,3.87) 求 得 Bios RUA Byrti ELI 
p. 自 育 节 方 法 中 的 一 个 特殊 公式 是 自 黄 节 BFGS. 

它 是 由 Shanno fl Phua(19785ià way, FRR, HHT BEGS F 
RERE- -TEREE KTR ay Aa Rp Z2 [M Oren 
(10825 D Æ Oren 和 Luenberger( 1974), 


84.4 不 变性 和 一 次 终止 性 


拟 和 牛顿 方法 的 一 个 重要 性 质 是 不 变性 (invarianee)， 即 它 在 
经 过 变量 线性 变换 后 保持 不 全 E 4 Oa BR, cc RB", 考虑 
REE $ 


a= Ap+a, (4.4.1) 
fü] EL Ey e Bee HE 9, 
F(a) — f(A? (z—a)) = f(). (4.4.2) 
不 难 求 得 
Vi(2)=A-*V f(a). (4.4.3) 


$0 (4.4.1) $1(4. 4.3) Bal DX ET 
213]84.4.1 H z,—Am-Fa. H 


H,—AH,AT, (4.4.4) 
则 有 有 
d,— — H gua Ady (4.4.5) 
dig = digr. (4.4.6) 
Fat FR ay = exu, 则 
Cee = Arpt A (4.4.7) 
且 
yam AT yp, (4.4.8) 


证 明 (4.4.5) 可 由 (4.4.3) Ai (4.4.4) BRM, 于 是 由 
(4.4.5) (4.4.8) RU (4.4.6) RAE, Rao, WA 


od D + W x [S r t 
Dye = £y — aud, 
= Asn t+ata,Ad, 
= A [zy Hat] +a 
= Atit, (4.4.9) 
BPCL ADRE, HLADA gua Agnes — 从 而 (4.4.3) 必 
EX af. a 
EERS Æ Hh T RRM ak ee, ee ETE 
AY $6 fp: 5 40. AER DR BRE ARA In. ARRAN 
ERMA oum os 和 关系 式 (4.4.4) 成 立 , WM BAH es BA 
y= Ax a. (4.4.10) 
从 而 可 若 ; HE ALORRA Hoy BUS ROR se, Wee PESE 
换 不 会 改变 指 牛 顿 法 产生 的 点 列 {ztj， 显 然 ， 在 精确 搜索 下 a= 
Cur HA (4.4.6) 0 


F(a) =f (x), (4.4.11) 
F (Er tade) = f (ert ady}, (4.4.73) 
ALY f (2, oda) — dV f (zy -+ad,), (4.4.12) 


我 们 知道 如 果 非 精确 线 搜索 是 基于 OF (a) EV fon) fC tok), 
DIVE len tad WAT 加 一 几 ， 不 难 发 现 非 精 确 线 搜索 (3.5.8) 与 
(2.5.9 RPA Oj, = Oh, 慨 定 Cy Org, H. H ppa T1 HM 分 别 EH EE 
x. 
H, a Bt (os, +E Aya) (ts +E Any)? — (4.4.14) 
PB, Fay (od to Ay) (Fete Ay)? — (4.4.15) 
得 到 , WA 
Hua AHAT, (4.4.16) 
HL spy Sr Biss vill BEDE. 于 是 有 
u:84 4.9 War, — Agta, H.— AHAT, ME aem a B. 
H, 和 Hf, 由 Hueng 族 中 同一 修正 公式 得 到 , 则 对 一 切 p, 都 有 
y= AFE. (4.4.17) 
定理 4.4.2 说 明 只 村 修正 公式 属于 Huang ik, Makt Eik 
并 不 会 政变 所 和 牛顿 法 产生 的 点 烈 ， 于 蚌 对 于 一 个 非常 坏 ByAG 


$ 4.4] 不 变性 和 二 次 终生 性 93 


(illcondition) Bj[B EE, EER VIO ZRTEXSCIR A. RANA AA 
线性 变换 ( 生 .4.1), 使 得 等 价 问 题 
min Fr) (4.4,18) 

FPR TRS. APE, RAN AIA, 这 类 方法 
MTR HE RSE RRE MRE TBR ATE, HUM 
V*f (2) BN 4& VES ABO I. WO 4B. 

E HD EBDRUEPÓ KEOTREN, BW Be AT, 
FHA 9 SE ee AA a ER 7 

定理 .4.8 se Bw .六 四 由 13.2.1) 给 出 , ex BARR 
搜索 给 出 ; H.-— 1, Hik) Bh Huang 族 中 的 修正 公式 44.3.37) 
给 出 , WE &, 者 有 


Gerist 770, $01, +, k; (4.4.10) 
Hye PB, $71, st, i; (4.4.20) 
s1.Hs,—0, 420916, 5— 1, +, EHI, (4.4.31) 


证 明 24 £—1 8j, (4.4.19) ~ (4.4.21) BRR, Pea 
kei, (4.4.19) ~ (4.4.21) Rae, 我 们 证 明 这 些 关 系 式 对 十 1 也 
WAAL, 

BR, grese O, SD $—1, e, ES RNA 


Sie 28; = ypris 十 418i = d41Hs,=0, (4 4,928) 
PRA (4.4.39) Xf A+ 1 ERAL. RT ER EIE ZAR. 
H peatu = PeprSer, (4.4.23) 
Field, 2, --, b, WE HE a,b, 使 得 
Ay (Aye ees) Hipath 


= (T+ yhaa busy H zii) ss 
wm 0,8 十 Gil Sapa — Feat) Tet bust LH s, 
= HS, (4.4.24) 
BL AER) A ABE (4.4.91) k--1 He, NE, 我 们 只 证 
t=k+2 就 够 了 ， 利 用 已 证 明 的 (4,4.323) 和 (和 ,4 和 ,3), 有 
dy eH s, dr — giao H pysyi 
= — Digi 2$, 77 0, (4.4.25) 
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E] TELE ES BO XU RE BR LE. E 
M(4.4.21) RI 4n, 必 存 在 最 小 的 整数 m 18 19. 
85.1 = 0. 
由 于 sce, soe H—3ES8, AA 
Spanigi, gs, -", Qm} =spani{ss, "t, Smt, (4.4.28) 


te HI 
g7 iom 0, $—1, 2, +, m—1, (4.4.21) 
Ht (4.4.27). (4.4.19) VÀ H4 — E, 即 知 
Gatil me = IDEE (4.4.28) 


X]—3)0 4-1, -—, m BRI, TO 


TE Hy, TTE " 
gua 1H miim = Sint UH mma — [gmi H mim)” 


Y mid milf 
A- da oLga i)? 
doli ng» | mala 2 
= j mala yLH mim 十 中 y H aum a 


(4,4,29) 
因为 Smti = Ü, eee ey Uh mime: = 0. th FR | Gma 3n (, y Qa 一 
—gLH.ga/lüseile. Pro, 只 要 假定 对 一 切 下 有 
pr% — gx H pgr, | gral (4.4.30) 
UU d^ 7H 
| Iml =O, (4.4.31) 
也 就 是 说 , $m (4.4.30) 9 S IE, 则 Huang 族 中 的 任何 方法 在 
精确 线 搜索 下 具有 二 光 终 和 止 性 .我 们 将 其 写成 定理 形式 如 下 : 
定理 和 .和 .和 在 定理 4.4.3 的 假定 下 , 9p SI 9) 8(4.4.30) 
得 到 满足 , 则 算法 必 有 限 终止 , 即 存在 min, 使 得 (4.4.31) 成 立 ， 
TU ELE AE USB A eu POS BS BE APOE s] E. 
证 明 (4,4.,31) 已 经 被 证 明了 。 FT m c Se 相互 OH 
iu, 以 及 线 搜索 是 由 精确 搜索 得 到 的 , 不 难 证 明 是 函数 用 2) 在 
@+span{sy, t, Sif a tspan{ ga, +, Siu 
(4.4.32) 


§ 4.4) ASE MER OEE ab RE 95 


“F 22 Al EAS RAMA, om ASE BE BB RE HEB n Dr RI ER a 
定理 4.4.4 的 一 个 直接 推论 如 下 : 
推论 生 . 和 .5 假定 目标 函数 fe) 由 (3.2.1) 给 出 ，o 由 精确 
线 搜索 给 出 ， 五 :一 工 Hi(b1)gp Broyden 正 族 的 任何 修正 公式 
给 出 , OUP 4 we 4.2.1 DUE RR IE, MEE moms 4813 (4.4. 3D 
成 并. 
证 明 HF ÓBM H.E Broyden 正 族 中 的 惨 正 公式 给 出 的 ， 
BCA SU) &, A A, HRE. TERE | geil 000. NBR 
Ori ida 0. (4.4.33) 
Br np Al 4.4.30) oie ae, BY ELTE TO RA AE. B 
由 于 拟 和 牛顿 法 的 不 变性 ， 将 推论 4,4.5 中 的 Ait gd H, 
为 任何 对 称 正 省 阵 ， 推 论 仍 然 成 也 ， 所 和 牛顿 法 的 二 次 终止 性 是 基 
于 精确 线 搜 索 , 但 对 于 对 称 秩 为 工 的 算法 , 这 一 条 性 并 不 必要 ， 
定理 看 .总 .6 设 卫 1 是 任意 绽 定 的 对 称 降 ， 并且 对 于 和 尾 何 处， 
(sy — Tigh) "yy 0, Anat 由 对 称 秩 为 1 的 公式 (和 .3.30) 给 出 的 ， 
如 果 s1, sg，…; 3, 线性 无 关 , WHA Ba H7, 
证 明 PIER 
Fathi s; ol, oe, 4) (4.4.34) 
M—UIé—1, «e, nym. BR 4.4.34) Mel mar. 假定 
(4.4.34) H $221 par, 则 有 
(S544 .H aui) yim ST ys — uH (1y;770 
(4.4,35) 
MW jal, -, € RRA FR 
Hos = Hout (Sua — H iriti) Gua H uai ys 


(Supa — H agii yaa 
= H agi 84, l (4.4.36) 
Mt-- j=l, 4? 3E mor. BRERA (4.3.20) Ra 
H patiya = 8143. (4.4.37) 


h (4.4.86) (4.4.87) 即 知 (4.4.34) 对 S41 ERE, 由 归纳 法 即 
得 (4.4.34) 对 5 二 1，…, aR, AR dé RHF 
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H HS; o 8, (£— 1, "x n). (4.4.38) 

IH T s, "^5 Bn 级 性 元 关 ， Bp 1 A wif =I, 所 xl Ha =H, fi 
Fletcher(1970) #3 Broyden 凸 族 具 有 一 个 很 好 的 性质 ， 3 


以 下 定理 所 述 . 
定理 .和 .7 fo) ew (3.2.1) BWM, As A SR IE XS 


1 1 
Hy(b7-1)d Broyden Pu MIF ARH, ot? —o1(H? 2,8"), 


LH? AH ys à EK, 则 有 
miníc$?, i}<of*t? <maxioc}’, 1}, (4.4,39) 


$4.5 最 小 变化 性 质 


氢 牛 顿 法 的 基本 思想 是 通过 逐步 修正 矩阵 B: 使 其 趟 来 越 近 
4j V?f(s), FRESE B 均 在 上 一 次 迭代 的 级 搜索 方 同 上 满 
RA SER, PRE EIR, FOR Br FB ZERER 
X. RNKMAPHWARMBEARA AEH HE I. BY Br 是 
i BABAR (4.2.6)? HERA BRE PES Bri 一 Bi 达 
到 最 小 . 
Steins. yc ROS 我 们 用 Dennis 和 Sehnabel(1983} 的 记号 
定义 
Q(y, S) - Bc R*| Bs=y}, (4.5.1) 
B 5b. 我 们 有 
定理 全 .#,1 Broyden EH RRA 1 MRIEZRE.3.41) 中 
给 出 的 Brr 是 问题 
min] 8— Bls (4.5.3) 
S.t, BEQ ys, ty) (4.5.3) 
i 
证 明 By (4.3.40 4818. EARS Bou 满足 (4.5.3), H 
WHER BOQ, n) 我 们 有 
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| Brr Bu] | = |a -20 S| 
< | B— Byles. (4.5.4) 
放 知 Bia JAEN (4.5.2) 3 (4.5.9) UR. D 
不 难 证 明 , 3€ (4.5.2) p BL La RR Frobenins 范 数 | .| 3E 
理 仍然 成 立 ， 定 义 矩 阵 范 数 | us 为 
|Air | MAM |r (4.5.5) 
Are Af E axen HMHI ARRIERE., Dennis 和 Moré 1977 ei 
T FREE, 
4.5.2 BCR 对 称 , 5.yE Ro, MCR yiia 


Ar, mn 
min|.4— Blur (4.D.6) 
g. tA C Q(y, s), A— AT (4.6.7) 
HI HE — AE s. 
B, = Ba GS Bs) T lue. — Bs)? 
arx s M ss M 7. (4.5.8) 


证 明 ”对 性 何 B gg (4.50, 我们 有 
M(B, DM ZZ r AZE _ Z EZ ZZ, 


ZZ (ZTF 
(4.5.9) 
其 中 E=M(B-BDM, Z=M's, FEAH 
| M(B,- B)MZja= | EZ \a, (4.5.10) 
| M(B, —B)M vli 1 72 | <j mols, 

(4.5.11) 

AH o EERS Z 正 变 的 向 量 . M4.5.100 (4.5.1) Bog 
|B,- Bly px IEEE T |B Blur. (4.5.12) 


所 以 由 (4.5.8) 定 义 的 By JE (4.5.6) 53 (4.5.7) 的 解 。 ee 
9(A) 一 有 4 一 Blx,s PRS BM, BVA B+ 是 (4.5.6) 与 (4.5.7) 


on ix) row dx [p dE 


的 唯一 解 ， E 
定理 4.5.2 ST— 4 ELEEHEGIE T. 
SEITE 4.5.3 if BO, dp PSE 2: (4.8.43) £314 88. Bis 
Fe: in] Il 
min |B — Bgl r (4.5.13) 
siBCQ(y,s), B=B > (4.5.14) 
的 唯一 解 . 
证 明 EEH A.B. AS M —I RM. " 
另外 , 假定 sey 77 0. 则 必 存 在 对 称 阵 M, 使 得 如 -5 一， 于 
是 有 
推论 .5. 和 4 qx BOWE, sty 汪 0,， 则 对 尾 何 对 称 阵 型 ， 使 得 
JM 77s, = yy, 问题 
min | 8 — Byl x,» (4.5.15) 
LEBE Yp s), B= BT (4.5.16) 
的 解 是 由 DFP AA(4.3- LAA BY Bags, 
证 明 Og 4.5 (4.5.15) E (4.8.16) eH 
B, = By [Yer Ben "yet ys Cus — Basa)” 


A 
_ (uy — Bysg) Sy T 
yg) A (B.T) 
ARAD ITEA.. D 的 左 端 完全 相等 所 以 推论 


WX. F 
由 于 DFP 会 式 和 BTFGS 公式 的 对 侦 性 . 我 们 从 推论 和.5.4 
BH ADF IE BS 25 Re 
Hit S.6.5 He Ay ATR, sige O, 则 对 任何 对 称 阵 型 ， 司 得 
M 7s, — y, 问题 
min | — Hur (4.5,18) 
s.t. HCQ(s, y), =H (4.5.19) 
的 解 是 由 BF GS 公式 (4.3.10) 给 出 的 Hla. 
y-UsH Gd—X SIExERE, 则 从 (4.,5.8) 式 我 们 可 得 到 


£4.57 Be ELEM 29 
ETR 
M(B, —G)M - (1-2 E 
^ Mo- ssSTM- 
x M(B-G)M(I-- = 
(4.5.20) 
为 了 从 (4.5.20) 导 出 一 个 重要 的 不 等 式 , RANAR FSA: 
引 理 .65.6 HABER rp jo] Sr s 是 m BAS 
实 向 量 ， 恕 时 


B=(1- Sg) A(I—- T) (4.5.21) 
Bil 
Bl < aii LA, (4.5.22) 
证 明 RA EA AC 4.5 21 Hi 
|B| = trace. BBT) 


T A 
= trace( A A7) - 25525 m 


-ajg Ln 


ESE 
_ || Ass u (st As)? 
Isha S asi) 
< lAl Lin (4.5.28) 
pu. 


所 以 引 理 成 立 . B 
利用 引 理 4.5.6 MA (4.5.20) RAT, WME B, 由 和 .5.8 纵 出 ， 
则 必 有 


| M(BE Gel 
|B,- Gl} lB Gly, M BO sla 
|| A ÞE 


ogn mz — 1MCGs-y)s 
|B G | are dai o . 


(4.5.24) 
EARRA, B, ©- EAL FERE EE XE XTÓB PRG, PSA 
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(4.6.234) 对 于 分 析 氢 牛顿 方法 收敛 性 也 是 十 分 天 用 蚂 . 
5j — PER B.A Bua 之 间 的 改变 量 尽 可 能 小 是 要 求 
Be Bi By" 尽 可 能 靠近 单位 矩阵 I 了， 由 于 请 数 
ICA) =Tr A) —In( Det(A)) (4.5.28) 
对 所 有 正定 阵 A 有 定义 , 上 在 4 =I 时 达到 最 小 ， pee 4.5.20) 
ie ld Byrd $1Nocedál(19089)i18 Milf, Fletcher(1989) 证 明了 


“FSi R, 
定理 和 .5.3 i Bi ESA ME, sha 则 问题 
min w( By? BR,?) (4.5.36) 
st. BcCQ(sw, s), B= BT (4.5.27) 


的 解 是 由 了 EGRS Z34(4.3.9) BH Besa, 


$4.6 收 X TE 


拔 和 牛顿 法 的 收 伍 性 劣 年 来 一 直 是 一 个 比较 热 的 研究 课题 ， 至 
pis TRB. 虽然 氢 和 牛顿 法 的 收 合 性 研究 已 经 比较 
RAL Se, 但 仍 有 一 些 重 要 问题 还 未 解决 ;, 例如 DFP 方法 
EST AS RE Oe FE [e] RR. 

Myers(1988) BERRY FORK AR. BARAT On] 
DFP FRE A EEA. 从 而 知道 DFP 方法 共有 二 
次 终止 性 ， 现 在 我 们 知道 ,在 一 定 条 件 下 ，Huang 族 中 的 所 有 方 
法 均 有 只 有 二 次 终止 性 (并 定理 3.3.4)， 利用 定理 和 .4.7 A EE HU 
NFO BG 韭 精确 搜索 下 的 Broyden 上 是 族 中 的 任何 方法 
Sy ick, E 

lim | gil =0, 


XY F— Be aR, Powell (1971) Bh T DFP 方法 的 收敛 性 ， 
区 以 下 和 定理 著述 ， 

;EXER 4.6.1 设 六 xz 是 一 致 凸 函数 且 二 次 连续 可 微 ， 则 让 糖 
98 2X ER FA DEP Jr EIE BJ AF ios] do SUE. f(o) 唯一 的 极 
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小 点 c5, Bi Oe HERE Q- RE Bp 


lim Ine ero. (4.6.1) 


证 明 由 DFP (4.3.1) 55 (4.8.20 n An 
Tr(Bi i) = Tr( By) -2 E 


+ (14 3289 JU Hyls, (4.6.2) 


Sy Vk SEY x 
Tr( Hays) = TrCH, ) — Lavelle Ere IE . (4.6.3) 
因为 fo) — 38 AIRES, 必 存 在 常数 M IO, HR 


sli ag yells <M (4.6,4) 
Sys sits 
XE— H Ek SR. PLFA sigre 0, BH ( 4.6.2) RAW 


= lge lorls 
TE Bae) mr ye Beaga Vig 
E ils EENE 
or sla Sky. C 4-6-9) 
rH (4.6.3) ~ (4.6.5) BDA PEE TS C MO, 使 得 


i "i | 
Tr(B < gnals 十 M'k, 
( x1) EREE = ie Pies > gist gjy 


(4.6.6) 
Trl He) — > ee MÀ, (4.6.7) 
不 难看 出 gi goi y an 于 是 
2 
(4.6.8) 


利用 Cauchy-Schwarz 不 等 式 即 知 


3 9s ls >(> Agnas) /3 /> sh 1.4 
fu gi. Hg i1 |y;la jal lads 


UP p Agite y, (4.6.9) 
ji ja 
3 Aou) PL FF (o) um EAE. BU PISO 使 得 
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| gal 228 (4.6.10) 
WW ARS. Byb, HER 2.5.5 SEER n> 0. 使 得 


Flan) — FG >> sd ll 
M EA SSR EB A sui GO, BORA ys 70, TM (4.6.9) fl 
(4.6.10) 4 
`: 1 2 
Eng ^ ie (4.6.11) 
RAPA k ABMS, Hi (4.6.6) f (4.6 10 RE fe 
Tr( By 4) cp Be — (4.6.19) 
也 显然 是 不 训 能 的 ， 班 矛盾 说 明了 ox eae vr"S RF (4.6.1 
的 证 明 可 参阅 Powell (1971). E 
Dixon (19722, b) 把 Huang 族 中 方法 产生 相同 点 列 的 结果 
MK PARE BAP. TE, 我 人 给 出 Broyden W tE A 
同感 列 的 简单 证 上 明 ， 
定理 人 .6.2 ESERI aE R", HER 给 定 , 则 在 
精确 搜索 下 , Broyden 族 中 任何 方法 均 产 生 同 一 点 列 . 
证 明 我们 考 虚 Broyden 族 中 的 尾 一 方法 BR Hal 
ETEK (4.3.20 AE, HER k KARR, b=, RME 
Aga H uada, ds, "Tg Qu) (4.6.13) 
JU i, $e, …, or 的 函数 ， 首 先 有 
H p(Q, Pa, Ung Pr) — HO, o, e, Ü, Pads 


(4.6.14) 
Heraha duco, guam ti H uua, 0, +, 0) 9341, 
(4.6.15) 
其 中 
fy 1-4- d» gii y(0, Q, e, Odes (4.6.16) 


gH VO, rotg 05g; 
tF k=l, gÁR(A.6.142 ~ (4.6.16) Rw. WE k=l, 2, =, imt, 
(4.6.14) ~ (4.6.16 iw. 于是, 有 
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Hash, 7, ba) = VR m see ne oy à) 


EEUU si 
— $5 1/11 ts Yil 


=( 1- Ses )H, 10, =, 0, de) 


Sitti 


s 
x(7— tr ie ) T DEAS (ps 1) M41 Via 
Sana ies Si 


=| T — Seiten )H 0, 
( ager JG, «sy 0) 


iM S c 
xii igna Su. + (Dua — 190r itg 
Stii S3 Teo 


walO, e, 0, du. (4.6.17) 
故 知 
Ay oth, see, Pi) Pina = 1200, -+, 0, 0) 
A Pipe PL PPE Via us 
ips 2 ore s, 0) ira 
ree E coa) 
X ya, e, O Gua, (4.6.18) 
di (4.6.17) 8(4.6.18) TA (4.6.14) ~ (4.6.16) 0 B—64+1 也 成 
i. 由 归纳 法 知 (4.6.14) 一 (4.6.16) 对 一 切 k fur. 所以， 只 
ERBER UJ 5, f0 赐 从 (4.6,] 二 可 知 Broyden irj fedi 
Jj X18 ye A: 38 a, AT. BP see eae. B 
Burmeister(1973) 以 及 Schuller 和 Stoer(1974) Ahir Hh iE 
HT DFP 方法 以 及 整个 Broyden 族 在 精确 线 搜索 下 的 ma 步 二 次 
We YE, 即 存 在 常数 六 518 
| Lepa 2* |o olo — x" |e (4.6.19) 
对 一 切记 者 成立， 出 于 Broyden 族 中 任何 方法 在 精确 线 搜索 时 
产生 相同 的 点 列 , 所 以 洪 弄 Broyden 族 中 的 方法 在 精确 线 搜索 时 
药 收 僵 速 度 只 需 讨 论 其 中 任何 一 个 就 后 了， Ritter 1980) 将 
(4.6.19) 改进 到 
ftat T'ao |o ota), (4.6.20) 
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1 RR EAEE Us ir. 
Oe = [drsa dusia, ot, Eren | dugna] (4.6.21) 
Schuller (1974) 3E (Bi E 
lim sup Up" ] < oo (4.6.22) 
下 证 明了 了 


|2x4. — 2" | OC |rt tl ]te-r—a@"). (4.6.28) 
Ritter (1980) fF (4.6.99) fM i sg 4825 5504.6.28) t it 
| zy z* ] = OC] tupaa 2" |] ee 2] 2. (4.6.24) 
不 难 构造 出 例子 来 悟 得 所 有 的 UV A EE, 因而 (4.6,22) 蚌 一 
个 极 强 前 候 定 ， 在 不 假定 (4.6.33) 的 情 泡 下 ，Powell0i984b) 证 
明了 
lassam a^] =O ea allaa (4.6.25) 
当 n-—2W8, fithst (4.6.25) A( 4.6.24) Se — PRAY, 而 且 此 结果 是 
ELA. 24 n>2 Wf, (4.6.25) (4.6.94) BEKKENS 
TAR [ (4.6.24) AR (4.6.22) HR eRe Ms, PAE 
ic FUER ER AM, 仍 是 一 个 没有 和 解 类 的 难题 . 
Fib FEE RER TAB Q- rc ot sic He 5j E907 24 B3. Q— fr 
收 合 速度 之 间 的 关系 是 很 有 意义 的 .由 Ortega 和 Rheinboldt 
1950) 可 知 ， 不 进行 线 搜索 的 牛 辆 方法 (到 在 算法 和.1.1 PR a 
1) QA Br2g Lie, HOP sO AR flo) 的 海 色 阵 的 
Holder EAF.  Powell(1984b) 给 出 一 个 三 次 连续 可 微 的 日 
怀 函 数 只 有 小 于 2 的 Q- Brita, Man wp ELE dE x ax 
Bray RES 1-5. Yuan(1984a) 证 明了 对 于 所 有 的 二 次 可 微 也 
数 , ERE RG ORBEA KAUN PRR 
ax — ©" lla 
| $7 lia 
可 能 是 在 精确 线 搜索 下 Broyden 族 方法 的 收敛 速度 ， 但 至 今 我 
们 还 没 能 从 理论 上 证 明 (4.6.26) 正 确 与 否 . 
男 一 种 局 部 收 鳄 性 分 村 是 讨论 没有 线 捷 索 的 所 和 牛 转 方法 的 收 


— O(a x" 18) (4.6.26) 
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AEE. 这 里 没有 线 搜索 是 相 在 每 次 送 代 都 令 oQ—1. PTH 
和 性 殊 情形 是 有 实际 背景 的 .第 一 ， 几 乎 所 有 的 线 搜索 方法 都 是 先 
试 还 长 为 l; B, HAA wy WTR, Ae MF BS Ca DFP 
方法 , BFGS 方法 ) BRA 1 15:8] B5 AK ESB Re Se PF 
(2.5.8) 与 (2.5.9), 在 这 方 商 ， 不 少 重 要 的 结果 Hi Dennis fi 
Moré(1977) 给 出 ,我们 列 出 其 中 之 一 ， 如 以 下 定理 所 述 ; 

定理 业 .6.3 Me flo) KERR, AV f(o) WE Lips- 
chitz 条 性 . Wa d fle) Hi, HO Vf @") iE, M DFP F 
法 和 BEQS 方法 在 取 ou = 1 WE QR RPE T e 的 . 

EXE 4.6.39 证 明 的 基本 思想 是 先 证 明 点 列 线 性 收敛 , 从 而 有 


È acc ols< +00, (4.6,27) 
Fil FR (4.6.27) EP ERR B, WA, — ASR, H 
lim LVF Its o (4.6.28) 
SKi a " 
HF Bw 和 H,—38 35. EEA 
Tr | gal a/ Oy] s mM, (4.6.29) 
H P(B V'f(o'))d, — — Vf Cant di) + oC dal), P (4.6.28) Bil ay 
m LVS Gn d) la a | 
lim EA 0. (4.6.30) 
FFA (4.6.29) 各 (和 .6.80) 可 证 明 
lim rd ele o (4.6.81) 
| x — «* || s 


故 知 步 长 为 1 EE Q-H. 

不 难 发 现 , 将 ox 三 | BRIN ay 1, 定理 生 ,6,3 仍然 成 立 ， 

关于 非 精确 线 搜 索 下 所 牛顿 法 的 全 局 收 铬 性 ,Powell(1976&) 
开创 性 地 证 明了 BFGS 方法 的 收 敦 性 , 元 下 面 定理 所 述 . 

定理 和 .6. 和 4 jur fidam Rois fi fGOPB. 
H. fia) 3E AE ELEL Uc SER] 9 B. TEE SR LIE RE RE ER, 则 BFGS 
A REIH RRR OCDE] IRSE aw DA REE RE 
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lim || Jil, a = 9, (4.6.32) 
证 明 REBRE UEA A MO, 使 得 
duds <u (4.6.33) 
Sk Vu 


*$— 9) & NU. TE, 由 修正 公式 ‘(4.3.9) 即 知 
Tr (Bess) = Tr(B) — 3 Ld. a Landi 


isl Siye 
S| Basel. 
— — e 4 0 L 1 
>à TBs, + Mi. ( 34) 


Hh M—M-LTROBO,. M(4.6.34) 9] HEB 
Det(B,, «[Tr(Bi n] [ME/n)^ (4.6.35) 


Pa 
k 2 
|| BaSx || 3 X4 A.6 
S ee «ME. (4.6.36). 
i (4.6.36) 149 
q LBs? e ars A € 37) 
H ST Bas, wn ME (4.6.37) 


从 (和 .83.11) 可 得 到 关系 式 
t. Sys _ Det( Bru) 


fm si BS, Deti E) : (4.6.33) 
FIBOL.. 35), (4.6.37) 41(4.6.38), 我 们 有 
了 | Buse 2S Vx [ME /n]*M* k 
i=} (5$, Ds, )? UT Det (Ay } <(M) (4.6.39) 
其 中 M00 是 某 一 常数 .由 非 精 确 线 搜索 条 件 (2.5.9) 知 
Seyer — (1— bs) Sigs. (4.6.40) 
从 而 利用 (4.6.40}) 和 和 (4.6.39) 可 证 
x l2 M 
I nii (A p)- (4.6.41) 


由 非 精 确 线 搜索 条 件 (2.5.8) 知 
X59 +, (4.6.42) 


§ 4.6] E ook 性 107 
于 是 


lim — sig, — D, (4.6.43) 
Hy (4.6.41) $1(4.6.43) BIURI 
lim inf || rz 一心 (4.6.44) 


因为 f(m)Jé hog, 显然 , (4.6.44) it F 04.6.32). | 

EM 4.6.4 dy Byrd, Nocedal 和 Yuan(1987) 推 广 到 秦 DFP 
以 外 Broyden 西 族 中 的 所 有 方法 . 

定理 .6.5 在 定理 4.6.4 的 假定 下 , Bi 由 Broyden 由 
Jk (4.3.14) IB. BO Byes Bear Gy), Fe FFFE 070, 19 1— 0,75, 
则 在 非 精确 级 搜索 下 的 算法 4.2.1 GE BAIE, 或 者 


lim | gs [la=9, (4.6.45) 
还 明 ”假定 定理 不 真 , 则 存在 常数 ô >0, 使 得 
[9x lam" (4.6,46) 


对 一 切记 都 成 立 ， 由 于 
Tr(Byis) = Tr( Bj) — (1—6,) -Buss ls 


Sig Duy 
+(1+9, Bie) lel? _ 0, yr Bisy 
Shik Sk Yn Sx 
(4.6.47) 
以 及 
lya” See. | Buss la M (SiDysy ^ 
SkUR — Six sh By, < shiv Bux 
= M UE M(1~bs)-*(—sugu)/I gel 
stil gl 
(4.6.48) 
lei Bs, . (Bale — [yx isi Buse 五 Se Buss 
shin SE Bisi ~ Yrsu || Busia ^/ sta | Busy] 
« NM 1 ba) 3 M — siga gula. (4.6.49) 


Hi (4.6.43) (4.6.46) (4.6.49) BD ay 


Lug UL CB W iE E uk 


5 [Bess | Yria 
Pr (Bagi) «Tri Bs) * URBS "m (4.6.50) 


HRA HAR EHR. HT 9,20. RI 
She Det( Bur1) 
i=l £1. Hy. Det Bi) i 
现在 利用 (4.6.50) 和 {4.6.51), SER 4.6.4 DEB SS, 我们 可 
üt 


(4.6.51) 


lim || gs |a=0, (4.6.58) 
Emro 


这 己 假 定 (4.6. 和 是 ) 相 矛盾 ， 此 了 矛盾 说 明了 定理 成 立 ， E 

EBS, 人们 人 奶 不 知道 在 非 精 确 线 搜索 下 ，DFP 方法 是 否 一 是 
WM. DoE RRA Te le 

5. MPA RRMA, BOM AEM BAPE 
Se. SP TSE CS Bp t EREE. — AR BL, 
所 以 即使 对 于 BFGS 方法 也 很 难 证 明 (4.6.34) RE. EBEA 
5| ax 收效 于 到 的 前 提 下 , Powell(1972) HEH T 3m a= 2, 且 线 搜 
索 为 精确 搜索 ， 则 DFP RABAT fo RR. RE 
Fa #1 GUC (1988 ) RE Powell HAASE D n>a, 

分 析 算 法 的 全 局 收 人 证 性 ， 除 了 Powell 提出 的 研究 矩阵 B, 和 
fi, ABW RAAT Ug 7; XR DEL Sp, 最近 Byrd 和 Nocedal 
(1989) 提 出 丁 用 估计 Bs) ROR. 这 里 b+) i8 
Frk 4.5.20) EM. MEMA C in Be TN AYE TT PE SX 
5 br. 

对 拟 生 顿 法 的 局 部 超 线 性 收 争 的 分 析 的 一 类 重要 方法 是 估计 
| Bi Bal, BAR Broyden, Dennis 各 Moré(1973), 3E 
上 ， 这 类 方法 的 思想 是 基于 修正 矩阵 的 最 小 变化 性 质 ， 关 于 这 方 
ILE] ee AAS RIAL Mariínez(1990), Hee we ats} — Bk U3 AF 
到 证 表 Dennis 和 Moré (1974) 35 ih ÉJ d Sete We SX TP QE, BU 
(4.6.28) WAL 

Oy >, (4.06.53) 
Byrd Liv 和 Nocedal( 1990) HF (4.6.28) pA po S8 Hr Ae E 


$4.6) we 3X 性 


md ~~ T 
lim coscd,, — gi» — lim —, 52 5:5: 
oe k= 


= SLV^f ( m" 8s =l, 
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(4.6.54) 


其 中 号 = [Vf (a*)]*d,, jy [Vf (oT Pg, 事实 上 ， 超 线性 收 


就 等 价 于 算法 十 分 接近 精确 线 搜索 的 牛顿 法 . 
定理 .6.6 PERAK 
Puti Gy — OH, gy 


P^ AE BS A SUC o, VAP (D IE RE, Vf (*) — 0, 则 


lim CELBI a | 3 一 站 
kx tye "| 
34 RC 


lim cos*(Bz gy, — [V*f(a*)] g=] 


和 
lim SBs _ 4 


oe OS Vy 
证 明 (4.6.56) gor, 我 们 有 
lim cos < Bi gz gy- æ" =l, 


显然 有 关系 式 


lim cos"<a,— o", — [VF C] g =1. 


Epa 


(4.6.55) 


(4.6.56) 


(4.6.57) 


(4.6.58) 


(4.6.59) 


(4.6.60) 


由 (4.6.59) Al (4.6.60) 即 知 (4.6.57) W. M (4.6.56) 和 


Vf Ca") JE ERR n] An 
lim [gt yn ls o, 
x — Walla 
TÆ 
lim sign FS. e-0 
x  [sillgsl 
M. (4.6.63) Bp A 
lim 591 
moe Sx 


eA (4.6.58) p yr. 


(4.6.61) 


(4.6.62) 


(4.6.63) 


ME (4.6.B7) (4.6.58) zr. py (4.6.57) (4.6.60) 9 


11¢ Loco È EL. 
(4.6.50) mir, JA (4.6.58) n] (4.6.62) JR or, FB 


lim Seat Se f (8728 一 =0. (4.6.64) 
T pA 
所 以 
im Se VA Ca) Es - (Vf (9) "gl _ | 
lim sk Vf (c s, 4.6.65) 
ii (4.6.65) ff (4.6.37) BB 40 
jim Let CV (222 "gall -0 (4.6.66) 


Eo | S 


上 式 显 然 等 价 于 (4.6.56)。 所 以 定理 成 并 


$ 4.7 有 限 内 存 BFGS 方法 


对 于 中 小 规模 的 无 约 东 优化 问题 ， 拟 牛顿 法 (如 BFGS 方法 ) 
是 十 分 有 效 的 ， 人 得 对 于 大 规模 问题 , 即 m 相当 大 时 , 算法 所 需 内 存 
相当 重要 ， 并 且 在 每 次 迭代 中 线 代 数 计算 量 也 影响 算法 的 效率 . 

ARATE (limited Memory) 拟 和 牛顿 法 可 看 成 是 共和 包 ® 梯 度 法 
HUE), 42 3.4 WA RRR AAEM SAMAR, A 
BA eee EE Perry (1977) Fl Shanno( i978) 提出 的 ， 
址 后 有 不 少 人 光 其 进行 研究 , 如 Gill fi Murray (1979). Buckley 
(1978). Buckley 和 LeNir(1983) 以 及 Nocedal(1980), 


ARAT BFG 方法 的 基本 出 发 点 是 减少 和 内存， 由 于 BGS 
EAH (4.3.10) 8 Ej p 


ns ( E) E) i 
(4.7.1) 
记 Pu 一 1 Skyr UR 
Vx Cl — putat); (4.7.2) 


AU 
E via -一 (Fi «V LH us , Ve) 


$ 4.7] ARAF BFGB 方法 111 
+ > Pumind CIT Vis js- ses il Vt.) = 
(4.7.3) 
Br EL m 12b BUR PR BEGS JAER MJ 
Hemat rek konde V eeek 
" m—j—i FE 一 -Í T 
+ 2 Ph mi H VE ms nes il Lu) . 
(4.7.4) 
其 中 HP fe RC Se i IE CR SU BAG; XX B3); 
Hz. 我们 发 现 , 47.4, Tae HEU Be, RNA ere 
£y (6 b—m, +, 和 了 ， 五 入 的 一 种 选取 方式 为 


HO wx SEU. 了 (4.7.5) 
lyxlz ` 


关于 其 它 选取 HP 的 方法 , 请 参阅 Lin fl Nocedal(1989), 于 是 
RIISA RAT BFAS 算法 如 下 : 
Wik4.7.1 
步 A aE RB", HQ.c HR" RIE E 
Ep ad 3 om; 
WO <b, bai; 8270; 
ki-—1l 
2 23 Egi «s WP 
计算 di — Hg. 
23 利用 非 精确 线 搜索 (2.5.8) 与 (2.5.9) 
求 ow 770; 
Tt = Dy H lka, (4.7.6) 
$4 Át—miníb, m), 
Ti 3 &=1, bil AY =H., im, Hi» 由 (和 .7.5) 给 出 ， 
Ayan (VE Via Vr 


+ 


(4.7.7) 


Wa Xi rob dE “第 四 者 
5 下 :一 下 二 1; 转 步 3. 
WTR, BREA B, A A, 3083 ATA 
We 
EB 4.7.29 PRR RESHMA, RR. 


Y^: EN AA Co CT f (9) EE BRR oD ek, EC BR BE SEP R- 
线性 的 ， 


证 明 A J()—3x Uno BUn 3| on} GA ERK M, 


使 得 
E- 
| UNE <M, (4.7.8) 
oes 
2 
sel? eM. (4.7.9) 


Hy (4.7.8) Ai(4. 7.9) BUA 
IWilssl1-cM, = (4.* 30) 
ARATE WR | Malas. FEAH. T.T) 04.7.10), 
Ep A | 
LE, alas Cm +1) (14+ M mM. (4.7.11) 
对 一 切 eA. ASAE M C4. 7 T) ER 
BHY = Bo-— Bi Sy Rusia BE 
Sha ue Sg dq. 


T FS 
+ m EE (4.7.12) 
k—ini AN E- fiti 


BP- [HO], M BOP = Base Hin. HCT) (4.7.8) 
和 《4.7.19) 可 证 


| Tr(B 1) mM. (4.7.13) 
(4.7 114. 7.13) Rede 97-0, 使 得 
cos<dy, — d» 7787-0 | (4.7.14) 


对 一 切 上 都 成 立 。 从 (4.7.14) 就 容易 证 明 存 在 VE (0, 1), 使 得 
(i, Powell, 1976a), | 

Fm) fm ERE Fm) I (4.7.15) 
由 一 致 凸 性 , FEE 07-0, 使 得 
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tow — at «S f(a) ~f (51^ 
«5(8)7 Ef (0) —f Cae) VO) 
(4.7.16) 
(4.7.16) BH x, R-REAT ol OW 
当 quot), 算法 4 .1 实质 上 就 是 -- 信 共 暂 梯度 法 ， 由 于 一 般 
总 者 欧 人 各 mw 所 以 看 来 算法 4 和. . 江 不 可 能 有 有 超 线性 收 伍 结果 ， 
对 于 电 一 0， 我 们 可 将 定理 4.7.3 的 结果 推广 到 一 般 凸 函数 . 
£47.38 RAAD RERA o H Vle) 


iN Lipschitz 条 性 
IV£fiy)—VfGo|M|[g—sl. . (4.7.17) 
Ol) py EE 4.7 (m 0) POE BS REM zx 必 满 足 
lim f (ow) = 一 oo | (4.7.18) 
或 者 
lim] ga —0. (4.7.19) 
证 明 用 反 证 法 ;假定 定理 不 真 ; 则 必 有 
D) LF (ax) —f ower 1< +09, (4.7.20) 
lim Sup || gs] 70. ^ (4.7.31) 
m T Joe rinde 放 由 (4 7.21) Al, 存 在 常数 0— 0, 使 得 
Igela ms (4.7.22) 
— a= tel (r— st) vial (4.7.23) 
Hs ST Suet yS a See (4.7.24) 
| “at IPIE Sin 
de PH 
Tr(B,,1) n pros (4.7.25) 
Tr(H,,4) = (n—2) Sue pats xà PRESE . 
lg wl 2 Suy 


(4.7.26) 
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FH JETER SEX EIE (2.5.9) 4 
Stix 77 (1 — ba) ogo. (4.1.21) 
Bi ECA.T.19) Ag 


[yeli <M (4.7.28) 


Si Vx 


TI 4.7.20). (2.5.8), (4.7.42) (4.7.25) 8 (4. 7.28) wy. 
oo $ [f (2) — Fares) 1 > bi È sh gs 


m bi > Odi a bd Aqu CBD 


2b (nM) ou (4.7.29) 
FE, 0, M (4.7.26)80(4.7.28) RJ 4 
One E yg 
'Tr(H,,1) an "bag, Bog < A Tr (Hz). 
(4.7.30) 
Mato TTCH,) 590, 这 与 (4.7.25) FA. a SBA Y Gee 


HA. E 

定理 4.7.3 对 于 m0 BSR, PEA KEE pR 
题 , 另外 , RAR mH HAARE EH HE B.M 7A GETT 
Mu. 

在 实际 计算 中 ,显然 mm 的 大 小 取决 于 问题 的 维 数 ,机 琐 容 许 的 
内 存 . 一 般 说 来 ,m 的 取 导 在 3 至 3 之 间 ( 见 Liu Hi Noceedal 1989). 


§4.8 修正 公式 的 儿 种 计算 形式 


在 氢 和 牛顿 算法 中 , 每 次 迭代 的 线 搜索 方向 de= — Bug, WME 
算法 利用 履 正 合式 产生 By WHKERRRRETDEA 
Byd = — gy, (4.8.1) 
WT RBS O(QOHEES.S KAE AHRI RRE 
Al ÓHETH,-TYAERBHA 


84.5) 1 IE zr SRL TRB lib 

dx: = Hy. (4.8.3) 
计算 (4.8.3) 的 右 端 只 需 On) it RR, 但 美中不足 的 是 : 修正 Ha 
BY XC E ES E TETECE BE 记 要 差 得 多 .一 个 简单 的 解释 是 , E 
By, 需要 计算 yay signs 而 修正 Hr 需要 计算 sssky Seve. 假定 Su. Ys 
均 有 计算 误差 s， 则 计算 siyi/Skyx Fl susp Siye 的 误差 分 别 为 
OC [lasla sive] *e) 8n Oelse] E Site, ASHE, SF ESE AT 
$e 2K E, H. Vf (ww) 满足 Lipsehita R, SUPER 28M ARE yeh 
如 ssjz， 而 反 过 来 , 有 可 能 | sel / yell > co. 

AIT RPE TEE Be 义 避 人 免 解 方 程 组 (和 .8.1), Gill 和 
Murray (1972) S HB By 分解 成 IDL 的 形式 , 其 中 工 是 单位 下 
ZAER, D HOM fake. RBBRKERBEELAD, ATR2 修 
正 公 式 均 可 写成 


Byra = But Ty F Enk, (4.8.3) 
其 中 ay 2,6 B, aE E PUREE 
LDL---ZEZAT (4,8.4) 


的 LDL 4} BBP By, Gill 和 Murray (1973) E 36 (4.8.4) rh 4B EJ 
BY, 

E(D+¢eZ Z")L, (4.8.5) 
th Z HR FH AeA LZ = 了 得到， 再 考虑 一 个 对 前 阵 加 下 
一 个 秩 为 工 的 阵 的 LIDIZ £y E 利用 这 方法 求 得 (4.8.4} 的 BDL? 


分 解 适 要 的 计算 量 约 为 也 二 所 以 已 知 B= IDL 求 出 


(4.8.3) 中 Bon 的 LDL ARCET FE ZDS 302. API MA t 
E Bd LDL? ARRA ERK BRA BRE 
L Dy Lyd = — gy (4.8.6) 

来 确定 搜索 方向 ， 求 解 (4.8.6) 只 需 解 两 个 三 角 方程 组 ， 故 只 需 
Oi) E. IE BH LDL 分 解 的 另 一 个 优点 是 只 要 D: 的 
对 角 线 元 素 全 为 正 , 则 By 必 正 定 ， 但 它 的 缺点 是 程序 复杂 

最 近 ，Powell(1987) 提出 基于 A. 的 对 称 分 解 的 一 种 你 正 公 
式 在 每 次 法 代 时 有 
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H= £,Z1, (4.8.1) 
其 中 OZ.4E—3JEAPRRBER. UA Zo MERR ESSI 办 一 一 所 kg 
ig O(n?) Rit Rig A BRR. Ja, Powell 用 BFGS AAR 下 sr 
的 分 解 形式 Zaif. PERU, BFGS 公式 (4.3.10) 可 写成 


yar = (1-9 PP) AAC — Pass), (4.5.8) 
其 中 B 
Y NR 
Py EAT TP (4.8.9) 
所 以 我 们 可 取 
Zia = (1— S P£))ZyQe (4.8.10) 
其 中 Qu, Al ELSE PERI TE eSB M (4.8. TDA HEATH 
ZT B,Z,—I. (4.8.11) 


所 以 Z% 的 列 向 量 e£ 是 Be SPE. TE Powell(1987)35 BOE 
AEQ HEIR Z S -—30JkssdE— 7k. BQ 
Hessenberg 48 E, WI ASHER T Cr] LS E EE 98 28 12 28TH 
s0 A? 01b ben), (4.8.12) 
其 中 五 是 函数 oA. BUT EE (4.9.12), MRR 
显然 具有 二 次 终止 性 . 
Powell(1987) 还 提出 对 zkoa BETTINA. 1€ Zea CTE 
2241) ER, 我 们 对 它 的 第 2 E n 列 进 行 加 权 : 


a 


21 —max{1, deed. jets (4. 8.13) 
xil 
其 中 g1-— gg)? | 21 H. 
o,=min{oy—1, lezéilsr. (4.8.14) 


加 权 以 后 的 Zu 显然 不 再 满足 BFG 修正 公式 , 但 是 m 的 方向 
仍然 保持 ， 攻 这 个 加 权 的 BRGS 方法 仍 具有 二 次 终止 性 .但 对 于 
一 般 非 线性 函数 , 这 个 方法 的 收敛 性 尚 无 人 进行 分 析 . 

基于 Powell(13987}) 的 方法 Lalee 和 Nocedal(1991) 提 出 一 
3| GA (automatic column scaling)BF'GS 方 法， 并 在 非 精确 
搜索 的 假定 下 证 明了 该 方法 对 于 一 致 凸 重 数 是 收 和 化 的 ， 而 且 局 邵 
WOCHE JE Q- 超 线性 的 . 


1! ] 
第 D = i 


直接 方法 


非 线 性 规划 的 直接 方法 是 指 : 不 利用 函数 尾 何 导数 的 方法 .本 
人 章 讨 论 无 约束 优化 问题 
min fis) (5.0.1) 
的 直接 方法 .我 们 介绍 几 个 早期 的 直接 方法 , 如 Hooke 和 Jeeves 
Jiik.Rosenbrock 方法 和 单 症 形 法 ， 然 后 讨论 目前 广泛 应 用 的 两 
类 直接 方法 , 即 共 恩 方 向 法 和 不 计算 导数 的 拟 和 牛顿 法 . 36 B8 71 51 1 
在 Powell(1964) 的 工作 后 , 几乎 无 本 质 的 进展 .修正 后 的 Fowell 
方法 仍 是 目前 最 好 的 直接 方法 之 一 ， 有 不 少数 值 结果 表明 ， 差 分 
TUF BTS A] BE SET aR a. May AAA ELT C HL 
TUS Sd SEXEBS n1 4 RE A, 其 基本 思想 并 不 十 分 
Ef. FOR REA n KRDERRESRT BREW we 
条 性. IRR BOX T E mscr Burma. 


85.1 3 8 i dh 


最 早 的 也 是 景 简单 的 直接 方法 是 交替 方向 法 (alternating 
directions), 它 利 用 有 % 个 坐标 轴 方 向 进行 一 维 搜索 . 

算法 6.1.1 

步 1 a CR" AH, 0, kiel. 

p2 ¢=1, x gy 

Jp 2o cR o. 8 


JG! Code) 一 min f(z£? ae), (5.1.1) 
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pD a gf A- t8, (5.1.2) 
è: =+; gp en, MEA 3; 
Jb4 wi 一 
SUR || yea Del = 8, WY HS; 
ki +1, FH 2, 
在 算法 的 步 3 中 ,6 HRA 9$ PARRA. EIER 5.1.00 程序 
简单 , 而 且 在 收敛 的 情况 下 必 收 敛 于 稳定 点 ， 
定理 5.1.2% 设 f(s) 连续 ;算法 5.1.1 y^: B EA m KAT 
c^, Wi] c^ 必 满足 


f (2*) — min f(z*--ae) (5.1.3) 
对 一 切 4= 2, nee, Sup fw) E a ah, Ju ot et 


Fe) 的 稳定 点 ， 
证 明 “假设 定理 不 真 , 则 有 mw I ot, AEC, dE 
(5.1.3) 不 成 立 ， 不 失 一 般 性 , 假定 


f(a") > min f (2° asi), (5.1.4) 
好 存在 a’; iE 42 
f(a?) — f(z* ta) =d>0, (5.1.5) 
EF mn MAT s", MMRDA E 都 有 
f (m) - f(ai-- a6) >a 8. (5.1.6) 
从 而 


f (as) —f Gra) > (ae) — f (o 
>f (a)-f (ataa) (5.1.7) 
对 所 有 充分 大 的 了 均 成 立 ， 由 于 mw->z" 故 应 该 有 
Em [ f (2) — f (avez) ] 79. (5.1.8) 
x(5.1.D)*)8. LIRR eee. NN 


定理 5.1.2 的 结论 是 基于 点 列 收 证 建立 起 来 的 ”但 是 ， 美 中 
Ay EHS FEES THT LRA REA BET RR PMH HE f (e) 89 $8 
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nuu 
565.1.9 . mitis 
fie, y) - maxi|o], 1y|}. (5.1.9) 
TRIES (m, i) (71. —1), 不 难 发 现 沿 着 a 方向 搜索 
任何 mE [0, PAM. Ra=2, WBA, yf?) —(0, —1). 
这 时 沿 着 e NARR 我 们 可 取 步 长 w 一 2, 18 3| (s, ya) — (1, 1), 
关 似 进行 下 去 , 算法 5,1.1 产生 的 点 列 为 
(2, y=, 1). (5.1.10) 
m XX f(x, gj 只 有 唯一 的 极 小 点 (0, 0). 
算法 6.1,1 的 努 一 个 弓 点 是 它 和 最 速 下 降 法 一 样 可 能 出 现 
Zigzag (RG RHA). Amiata. Brel, Hooke 和 Jeeves 
{1961) 提 出 模式 搜索 (Pattern sesarebh) 方 法 ， 其 基本 思想 是 利用 
fo U 355573 pus d EE Tata, XEfT— BEL 
搜索 步 . 
算法 55,1.4 (Hooke fi Jeeves A$) 
11 ay CB Se, ep O0, kiel, 
Jp 2 ¢=1, WR 5—1, Mj r =w BEAR SES 3, 
R e 使 得 
f (a+ a£? d) = minjf(zy-V ads), (6.1.11) 


qi = an, rat’ dy, 
步 3 cR aD. 0.1.1) mr. 取 
oft) =o + aia, (5.1.12) 
$* —6-F1, MR $m, 则 转 步 3; 
oy 4 Perm DE Y, luri = Baga — Ex 
WR Idris Je 
k: =ie-+-1, $3 a. 
显然 ， 对 于 算法 6.1. 和 4 定理 5.1.3 仍 成 立 ， 在 一 般 情 况 下 ， 
算法 B.1.4 比 算法 5.1.1 PES AR, 但 美中不足 的 是 : 算法 0.1.4 
FE AR BE ARTE HL aK. 
Ja — PB SEE 8897; EE Rosenbrock 方法 ， 也 称 为 转 
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$4 (rotating coordinate) i+, TR ASEH Rosenbrock (1960542 H 
上 的， 这 方法 每 次 选 代 用 一 组 正 交 方 河 进行 变 替 搜索 ， 这 个 方法 后 
2 Davis Swann 和 Campey er Ci Swann, 1964, 1972). 
Palmer (1969) Ml Powell (1968) 4} Hie T iy RAB IT 
d$ UE SD EXER m RE SES 8]. 

$4; 0.1.0  (Rosenbrock 方法 ) 

步 1 Ath ac RK", nt EHH 

di». 2 air. 


as=D, AL=1; 
2b A p= L, at? = ES 
步 3 SK af’, p 
a pg df?  — min (mf? 十 adt? 5.1.13) 
f nf. 
d 
DD —gi?-repdi (5.1.14) 


4: 44-1, JR i<n, WSs 2p 3; 
ib 4 Ceara D. 
AUR oua wells, WE 
构造 新 的 正 交 方向 diu (6-1, «++, n) 
Rin h+ 1, 转 具 2, 
PR IEZ AWA RY e($—51, e, vn), 以 后 每 次 选民 后 ， 
By 4E X. 
d = M AUR aj —0; (5.1.15) 
Cpa ei, 如 果 of? 0. 
Rig dí1($-—1, 2, =e n) EDA AA Gram—Schinidt 方法 将 at C= 
1, es, NIE eA, RNA 


di^ — dP (dP lla (5.1.16) 
20 €i. 
dj = af? — = di? Tai digo (5.1.17) 


其 中 ,名 =2; «+, n, PP 是 如 此 选取 , 使 得 
jdr 4ila7 1, (5.1.18) 
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不 难看 到 , Rosen brook 77 Hk 8i (X 3& (SR BA e PT A GL 

正 交 的 , ANTE AU EE 5.1.1 — ee, SO Ray, 则 必 收 化 于 稳定 所 -。 

另外 , 由 Bazaraa 和 Shetty 1979 n] X], FUSE ER PC f (a) EE fo] — 

HET ZE | RD a EEE, ELE KERRI n TF TIAE 3C 

无 关 的 , 则 点 列 zx EFE RI FE SHADE: fo BEES AE TX. ERRINA Ye 
B. cs, dE? 一致 元 关 , FET RE 


U,— [EP / dP la, ---, EP dul a] (5.1.19) 
的 逆 存 在 , ELTE ERE a M, 使 得 
[Ui [9 M (5.1.20) 


对 一 切 不 都 成 立 ， 对 于 Rosenbrock His, U; H—- IER, 于 
J&(5.1.20) PRA. 从 而 我 们 有 如 下 aR: 

定理 5.1.6 设 flo) ER AAP fito Hp E 5.1.5 产生 
的 点 列 有 界 , 则 oy WESCE P(e) BYME- HEINE c". 

证 明 Ree eo WER. 出 于 U EEZP FEE 
agg dO, e, dU, 使 得 


f(x) - min f(a+ad™), (5.1.21) 
于 是 不 难 证 明 
dV f(z) —0. (5.1.22) 
因为 dO =I, --, 1m) 线性 无 关 , 从 而 Vf(s) 0, BU co". tX 
Al zy. a 


$5.2 m oh Bw 


单纯 形 法 (dimplex method) 3j—-TPRAW BRAK. ER 
Wh Spendley, Hext 和 Himsworth(1962) 72H, gi Nelder 
#l-Mead (1965) pz yt . 4 Abe (rimplex) Et R^'rB n+l PAN 
Ji E fg pen, 单纯 形 法 的 基本 思想 是 :在 每 次 选 代 时 利 町 已 育 的 单 
纯 形 去 寻找 一 个 函数 值 更 小 的 点 ,如 果 得 到 这 样 一 个 偶 好 的 点 , 则 
用 这 个 新 点 作为 一 个 顶点 构造 新 的 单纯 形 , 否则 的 话 , 将 已 有 单纯 
形 缩小 重复 迭代 .值得 注意 的 基 : 解 元 约束 优化 的 单纯 形 法 各 解 线 
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性 规划 的 单线 形 方法 是 完全 不 一 梓 的 ; SRRA a r E. 

T HEB 简单 情形 n=2. 

设 给 出 后 a($—1,2,3) € 
R?, f(z3) flee) > f (m). 
考虑 由 mi. mam. 组 成 的 
aS A THERE, 我 
W195 BER oc. Wie 的 连 线 
安排 在 垂直 方向 。 由 于 在 
线段 tite HY 7c WK rà zs WY PR AK f(m) 的 值 较 大 ， 所 以 有 理由 在 用 
和 zs 连 线 的 右边 去 找 一 个 可 能 使 fw) 下 降 的 点 ， 于 是 我 们 可 试 
zi 的 反射 点 HD 


Wa = 2, + La — Ta, (6.2.1) 
如 时 fa3) 二 所 9)， 我 们 得 到 一 个 较 好 的 点 ， 这 圭 可 试 著 沿 osc 
TT SPE SP eR. BARETA 

fic) <f os), (5.2.2) 
其 中 


yam TET y (ap fires), (8.2.3) 
7>1 HM TUR fF) > FG, tr ERIGI A BE C0 < 
fs) XB, 我 们 可 缩小 步 长, 得 到 F= 20728 e(a — AE), 


其 中 BEO, 1). MR flea) <f (as), 则 用 za 代替 os AMY 
纯 形 , 否则 , 我 们 缩小 单纯 形 , 即 令 


mi mai (s — ii), (5.2.4) 


De: =at m). (5,2.5) 
最 后 一 种 情况 是 fie) fies) < 六 ga。 此 时 ,我们 可 用 点 ma. os, 
码 组 成 新 的 单纯 形 进 行 于 一 次 选 代 . 


对 一 般 n=2， 单 纯 形 法 欧 原 理 和 上 面 讨 论 的 一 样 ， 每 次 渤 代 
时 有 nn 十 1 个 成 Vir fl Uri % Fl e te 8 


$ 5.2) 


FA BUTE 83 55 th Al al RFE 


Mon x 法 12 
fin 一 Dax fx (5.2.8) 
f(s) = mim fp. (5.3.79 

然后 , 为 了 计算 反射 点 , 我 们 需要 计算 
z=} Sia. (5.2.8) 
[4S oco f] (6.2.9) 


其 中 e> 0 是 给 定 的 误差 许可 ( 见 Nelder 和 Mead, (1960). 由 于 
3I BA FG .2.9) FG A b HK fle) TE m Ab, 我 们 认为 用 


[二 3 LG) — fla)? | xs (5.2.10) 
1d; 


fe APE AT AR LE (5.2.0) E. PET ntl + n (6 一 
1, en %+1) 的 函数 值 相等 时 均 满 足 (5.2.10)》 所 以 用 (5.2.10) 时 


ABR  jm 一 mm 位 也 非常 小 下面 给 出 单纯 形 法 
算法 .8.1 (Mewes) 


X» 
xp 2 


3 


给 出 mr, 5 tat OR", at=1, 8-—0.5, y —3, 
Hi(B.2,6) (5.2.8) YF ór h 3D n 
Ue et am) (5.2.11) 
如 时 了 (wn) f np, MF we 4 
2, 他 wR Goo fla, t+ ya 2)); 
artyst) 友之 ; 


t G; 
Hg fn) > max Sa), 则 转 步 Oy 
J hd, 
Th = Te 
转 步 G; 
R a, 使得 


fla} - minif(z,). Fle}. | 
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计算 zo E+ B, 2), 
MUR F(a) < mex f (29, MI mum ae 


> Uff, & mm Uem) (il, ” n+l): 


26 HR (5.2.9) mz, WES; 转 步 2. 

单纯 形 法 并 没有 很 好 的 理论 性 质 。 ARE EM 
度 显 然 是 线性 的 .但 它 县 有 篇 单 实用 的 优 成 ， 大 量 的 计算 表明 单 
纯 形 方法 是 一 个 十 分 可 诽 的 方法 ， 特 别 基 它 能 外 理沙 数值 变化 剧 


$5.3 JE 9j 77 I8] iA 


SR TES = Xe CEP SSURIL EY p RT 433] LX 2E IST: S, 3C 
EN Ue A JL SCELERI IRE ER ^ (B E] OR PE 3E Ba. H h, 
EAS AL 25887; mE; SEX. 


首先 有 如下 定理 ; 

x HB 9.3.1 i bcn H. d, ttg dy, 线性 无 关 ; UE 
B. dele td (5.3.1) 
Samalem eat (5.3.2) 


EER PAPRAN TSH, 4 aC S: Mach. p ALIE 
TX 
flo) — ga + > at Ha (5.3.3) 
iz Ss 和 Se EAS Beha ll ese; Ej da, -*, dr E H- 3t. 
证 明 ”显然 大 
diVf(z)e-dIVf(m)-0(i-1,-«, b), (5.3.4) 
于 是 
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di H (29—21) = af (Vf (zs) — Vf (21)] =0, (5.8.5) 

所 以 定理 成 立 . | 

Zt 9 7 Tel Be B] ES OAT BE a FE OB EREE T8] 
的 ， 从 而 合算 法 共有 二 次 化 引 性 RAISE fg 7T et dH Smith 
(1962) 提 出 。 求解 二 次 函数 极 小 的 Smith 方法 可 写成 如 下 形式 ; 

Mik 5.3.2 ' 

步 给 出 da, ce, d. REDE; By, cn, Ba, 

HB m 
步 3 Kays Heth S os + ods) 59 RN 
ma = t1 Hondi, t= 4, 
#3 v= Bd 


grad, 
步 4 Ra”, 使 得 
f (vr a Pd.) = min Flv +ad,), (5.3.6) 
puti ua yD ad, (5 3,7) 
如 果 got, WERE d: 
A 
d,— ott) — mi (5.3.8) 


3p 5 SK oy HG f Co + od.) AB Be 7] 
ep = D, T odi 
é:=¢+1; WME icn 刚 转 步 3 
AAEH 5.3.1 BR n] An E. 5.3.2oR 19 Ef] eua d EE pj HE 


f (2) 一 g?w+ 2" Hao 的 唯一 的 极 小 点 — Bog. 


Smith 方法 虽然 是 针对 二 次 函数 提出 来 的 , 但 它 也 可 用 米 解 
一 般 非 线性 无 约束 优化 问题 。 Smith (19625 建议 反复 调用 算法 
5.3.3， 妈 把 %w KERS- KKR. 但 Fletcher(1965) 发 
现 这 种 做 法 有 具体 计算 表现 并 不 好 ， 一 个 显然 的 铀 太 是 Smith 方 
HEM a PHT de ee, CARMI, MORE 5.3.2 可 看 出 di 
在 每 次 进入 时 者 用 到 , 而 da RAR 7 OO TURTLE IB 3I 
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Powell(1964) 提出 一 个 同等 对 待 所 有 ds, … da HAGA 
法 , 此 方法 仍 具 有 二 次 组 止 性 . 
算法 5 .44.3 


步 工 Bid, ce, 线性 元 关 , SH ec R^ tml, 
75 2 af? = ay, g= l; 


SB 3K of? j 
f (ei? af d) — min f (a£? tad), (5.3.9) 


Bp ait P9 ae ol? + od $—6-r-1, 
WE é<n, 刚 转 步 3. 
Be dyt=dyiGG=1, 2, =, n— 1). 
di = oer? 一 qu 
求 ex 使 得 
f (o, oid.) = min f (ertadan), (5.3.10) 


Erti Dt Ox, 
bic h+-1, F626 2, 

WTR BM, Powell 方法 大 约 需 要 比 Smith 方法 多 一 售 
精确 搜索 才 会 终止 . 但 是 , 由 于 Powell FE SWRA É da 
,是 平等 对 得 的 ; FTE 8] RA ES KIRA m BY AEE CX 
AAT SE) RT el. 实际 计算 表明 ，Powel 方法 驹 于 一 般 非 
ZEE mae fn) 比 Smith 方法 更 有 效 ， 

但 是 ，Eowell 方法 的 一 个 弱点 是 随 着 选 代 次 数 的 增 如 ， 方 向 
da, 0, GL 很 容易 趋 于 线性 相关 而且 假 年 在 某 交 迷人 代 时 da, e, 
d, 线性 相关 , 不 难 发 现 对 所 有 的 以 后 送信 点 避 均 会 落 在 一 个 子 空 
AA, 故 只 能 找到 这 子 空间 上 的 极 小 后 . 

Powell 提出 了 一 个 修改 方案 ; 其 思想 是 基于 下 面 结 果 : 

S172 5.9.4 HER A 正定 , df Hd;-1($-1, «e, «) UH 
H4X 3) d, -., à, Æ H- FERRERS Fy XU 

|det(Ids, «+, dal) | (0.3.11) 
达到 最 大 . 


$5.8] 共犯 方向 法 laT 


E EH id D = (dy, ney da), 则 有 
[det(D)]*det( H) — det( D" HD) 


<= Tr(D* HD) -1, (5.3.12) 
PNTA. 3 11) 5 30 C2 es 
det (D'HD) = =. Tr(D'HD). (5.3.13) 


(5.8.12) moris HEAR D'HD- I, Bobrs [3872s K. i 
现在 考虑 将 aiU — a, PR du xx Bliillia A FER ath 
3i LA di ” di", E. AR D [d£?, e dg? j, 由 有 
Dy; -- | df*, ra, d», 5 ai di^, agri ate, d£] i (5.3.14) 
J=1 


ha 5.3.4, RIER 
(dot( Dys) 
aia ae 
达到 景 大 .利用 (5.3.14) 可 知 
Pups = Ph" (£97 Ago? H qo / (gfr*D —ay)7 H (of tD — m). 
(5.3.16) 


= Pipi (5.3.15) 


H TREES) amu 3,8) 我 们 有 
FR) F (P7) -i [oi | (dz ) Had", — (5.8.17) 


J (we) —F Cones) = MEI (att? ~ m.) (wt? — ae), 
(5.3.18). 
=P Mh (5.3.16) ~ (5.3.18) 4 
SC DESC DNN 
Oven ™ OD fne (5.8.19) 
rH (b5.3.19YBB H, stim ein 名 ， [i ds 
f (a9)—J (ad^) (5.3.20) 


mans AC i di", +, de? RR BE AD RRR, 我 们 要 求 Pee > 
. WHR 
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,, Bax FC) S Caa] 
(m) ~~ Fag-fGa ^U (5.3.21) 
WN) i PR CO.2.19) 定义 的 pui 必 小 于 ox. TEXCEPTROE T. 我 们 就 
AER EET] eI. TR Din 一 Di、 修改 后 的 Powell 方法 可 写成 下 
E BYTE x. 
4*4: 5.3.5 (Modified Powell method) 
步 1 给 出 线性 无 关 的 d, e, d. 
ac N^, Eimi, 
BA aco. 
Xj $1, =, n, FE 
of? min f (af? + od); 
q3*9 — gt? pad. 
BS dura? — ay 
c: min f (ay t 05,41) 
Tri = gy + Oy Üsri 。 


b 4 Ka: max[ f (ai^) —f(ai*9)], ' 


如 有 果 
(atl < fy, (5.3.22) 
Bl ££ ob 5. 


XT ps, oo, m TE dz = dou, 

5 k-—krl&SEI 2, 

Powell 的 修正 方法 是 基于 f(w) 是 二 次 函数 , 但 对 于 一 般 非 
PEEL S (o), (5.3.17) Ej (5.8.18) FP RO, BAT AE (5.3.22) 
JE7FüE PR UE ERE XS RAB dI, e, di? TESTER. BST 
非 线性 诸多 A 并 不 知道 ， 所 以 Zangwill(1967a) 建议 每 次 KN 
要 求 


|det(D4,4) |? TT 14.08 (5.3.28) 
尽 可 能 大 , 这 可 理解 取 五 = 工 [Edi ael e, n 都 是 单位 长 


Re Mat, 4 de. Dara /|Saray 
fel u gl 


wt, gee), WA 
det (Dyes) -一 二 det(D,). — (5.3.24) 
jae 
Al FA (5.8.24) Bn] Sih Zangwill 的 修正 Powell 方法 如下， 
Bit6.3.6 (Zanzwill'a Method) 
$1 ids, e, d, BH A= detida +, d,) | 2287-0. 
mE R^, kiel 
ip2 ay? ay: 
*Xp&-—l,--, n FE 
aj? min f(a? + ad): 
gt ul gin 十 at? d. 
HS dasa = (EEY — ay) / cet? — ag os 


On :min f (z+ OU. ) : 


B dfe do G1, s 


* 
Typi = Ty 06 dati. 


步 4 Ret max laf? 


lx*jan 
TUR 
lath! A ~ 
nm 一 一 人 一 < 0.3 25 
Po cade 5 (9.3.28) 
则 转 步 5; 
d.t = uii: 
4: — Ala? | / Aag? — ela, (5.3.26) 


ED 下 :一 上 十 1 oH 2. 
不 难 申 到 算法 5.3.6 和 算法 5.8.4 的 差别 在 于 尖 别 条 性 
(5.3.25) 与 (8.8.22) 的 不 同 、 由 于 算法 6.3.6 保证 
|det(D,) | zz8 (5.3.27) 
X —U biguir. BREA GaP, e, 4? 一 定 线性 无 关 。 dign 我 们 
有 收 敏 性 定理 如 下 : 
定理 5.3.7 设 f(w) 连续 可 微 且 严格 凸 ， 如果 算 法 5.3.6 产 
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ERRI os ELE, 则 ey ir F f Ca) PE — EPIS. 

WEB] Èr Ein) NERA. TRR RM EDGE 
dE, af)—aU, BIR la=1, TARA TMH, 8X 
有 

f(z)zf(&-rade, (5.3.98) 
WR f (2) fta dY), MAE n> 0 48 (8 
f(x) Rf (medi) np) Tn. (5.8.29) 
TEmo. 这 与 {zw} AAA. 所 以 有 
fle)=f(eravd©), (5.3.30) 
设 E min f(s tad AR. AS Ca) Mee, MH al KO, 
则 有 ae Rt 使 得 
f@ J- a 00g 02) f) (8.3.31) 
Yd JE 对 充分 大 的 名 有 
finu) — S Cea) S (0) — f Cont o, d ) 
=f (my) — f (2, od) 


> Ef (rade >o, (5.3.32) 


Kia ARI. WA AAR ox 二 90， 于 是 必 有 oD=0.， 从 
而 ace, KERDE EGE 


DP dO (f=1, 2, ---, n), (5.3.33) 

Ci 多 -af 一 二 2, --.. n), (5.3.34) 
同上 可 证 xd —0(3—1, --, a) H 

f(z)— min f (etad), (5.3.35) 
H (5.3.35) BD 

[G'^1TVf (@) = OC pel, =, n), (5.3.36) 
HH! det(D,) | 228, MA 

|det(d!D, ee, d9)1 BO (5.3.37) 


M (5.83.36):81(5.8.37) Af 
Vf(z)-0, (5.3.38) 
Mme ez fle) 的 唯一 极 小 点 ws*， 由 于 算法 是 下 降 算 法 , 从 而 有 


$ 5.4] 252] Te 2E 13 
lim f (e^) =f (e) (5.3.39) 
此 一 as 


xf j=l, 2, e nb AR WZ H+ f(x) Pe ee s, 所 以 ao 2"(j=1, 
py n), 定理 得 证 . | 


$5.4. 差分 氨 牛 顿 法 


莹 分 拟 咎 顿 法 是 用 差 商 代 起 导数 的 拟 生 顿 法 ， 这 类 方法 是 共 
轿 方 向 法 之 外 的 另 一 类 有 效 的 直接 方法 . 

差分 拟 和 牛顿 法 最 早 是 由 Stewart (1967) 提出 的 ， 他 研究 了 将 
DFP 方法 次 分 化 ， 后 来 Gill 和 Murray (1972) 考虑 了 差分 形式 
下 的 Broyden 族 方法 ， 差 分 拟 和 牛顿 法 和 拟 牛 顿 法 的 区 间 在 于 每 
次 选 代 时 g =VF (en) 用 差 商 

| Poze Pots} — foy) 
ie} : 
f mr hae. — fog) 

L ha 
Re., 〈5.4. 全 用 到 的 是 向 前 差分 ， 为 了 提高 逼近 精度 , 也 可 用 中 
间 莹 分 , 即 取 


(5.4.1) 


f ny hei) — f m — hae) 
hy 
gy = : (5.4.2) 
f Cry hes) — f Gm — FeO) 
- 2h, 
APEG REH n PRR. 差分 步 长 A0 的 选取 对 算 
FEHB +s KN. BME AMT BH, 
BF541 《 莹 分 拟 和 牛顿 法 ) 
步 1 Ahh ac RK’, Hic RE yg, 
ASH. gu bim 
Jpa dy= —Hap 
线性 搜索 求 oy 
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Byra 77 Ts oly 
JP 8 利用 差 商 求 fees. 
Vu Juss 9. (5.1.3) 
FA Sy Brya e FA dA (EE RB FE HH uaa, 

a ki=k-tl, HEH 2 

差分 所 牛顿 法 不 计算 导数 ， 所 以 进行 线 搜索 时 只 能 用 仅 依 赖 
于 了 裔 煞 值 的 一 维 极 小 化 方法 . 

BKEARMHEAP RESTA EAU AS. Bl aR 
(6.4. 1335 3% ji, 


fCay4- ^ a —fim) 


Js= : ， (5.4.4) 
Ta 有 的 -Ka 


Stewart(1967) ER% M " KAE- ERREZI RE 
yO kA ERER, BAD BER BOXIXR(UGESS e MEER 
方向 的 差 商 步 长 ， 则 

ge = J (ay -F Pi) — fla) l (5.4.5) 
记 ?1 的 第 个 对 角 线 元 素 为 aD. 在 -一 般 情 况 下 el #0 (对 
PERE, MERDA H; EE BRA a >00), W 


EORR TOO 


= aze (5.4.6) 
| f Can gi | 
(EL) ; BZ. 
p E 
Tu: E hw 
A he (1- Sja RP +4 ge ) An (oz |a? f Gu) m 


人 | 


2| Gi 
he (1— sar haa) RZ. 


(5.4.7) 
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MRM FRE BEER 87-0, 有 

AL? | «2619? 1/ af, (5.4.8) 
则 在 [RP |< [AC [ 时 , 我们 取 (5.4.5) 作 为 近似 方向 导数 ; 否则 ,我 
们 取 

g(9 一 flai these — f Gm) | (5.4.0) 


其 中 ¢=sign(a,”) sign ( [F Cest hfe) — f (an) /hE BUR (5.4.8) 
TS IE. 则 令 新 的 AD 为 方程 


slat |i IJP- [f(m)in=0 (5.4.10) 
的 正 根 ， 取 
- ot Ai e, — _ nO 
5 一 f Creo hf e fee) (5.4.11) 


关于 差分 步 长 选取 的 详细 讨论 , 可 参阅 Stewart (1967) 与 Gill 和 和 
Murray(1972), 224) 35 R REREAD UC BCPE A BT AT LR) 32 (1990) . 

3t ot UAE ihe BB AE AOR 
需 计算 导数 的 扳 午 顿 法 , 是 无 导数 拟 和 牛顿 (quasi-Newtion without 
derivatives). TEETE AHH CARR PRR. 这 方法 
出 Greenstadt(18iae)f2it, Ff 7E Greenstadt (19728) Hib gi 
Xt. 

JG SPARE BLA ES i JL EC] RRB pL CC D AC GE 
伺 于 拟 午 王公 式 的 条 件 . 它 上 每 次 迭代 进行 n IX — E19 ES PX 
迭代 时 , 假定 有 在 当前 迭代 点 w 的 -一 个 近似 梯度 gy 以 及 一 :个 近 侯 
HAE By, 算法 第 一 个 一 维 搜索 方向 为 


d(P = — By! gy. (5.4.13) 
特 其 单位 长 度 化 后 得 到 
EP — dp /awl (5.4.13) 
XP T $—2,--,m REIR 
ga S dP ay)" Bye, (5.4.14) 


dz = dP / EP s, (5.4.15) 
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记 oy a HETAN i=l, …, 取 o 使 得 


minf (sP -+ adf?) (6.4.16) 
达到 极 小 , 县 定义 
p *D gO + ego (5.4.17). 
34 f (a) BOR BRAG 
fa?) —F (ae?) = = GPS, (5.4.18) 
(sO Tiga t H (229 — e] =0, (5.4.19) 
其 中 sPealt?—2 TERIER $48 Bus 使 得 
(st?) TB, ,18 c5 Cf (ep — fí g (31, (5 A. 20) 
(sP) [get Brilok ^U — m) ] =0 (5.4.21) 


Xl—50$—1,2,--, nR. (B.4.20) H (5.4.21) RERO E 
Td SB ER AE. AAE WY ORS 


Ja— Out 之 Qs, (5.4.22) 
=l 
Bras = 也 十 于 之 10: [SP Cat? ~ an) + Cat? — ay) GPT] 


ny sh? (sh 7} , (5.4.23) 


m 
2 


3-1 
(5.4.24) 
. e) (ON D RD EN g TB (4y 
ng? eal [f Can ) D n (s; )* B,si —o | 


(B.4,25) 
mc01k—^- BR. BLa8 多 求 出 后 ， 下 一 次 和 迭代 所 需 区 的 近似 
HERA 

Gust Jo + Bags EP — ay), (8.4.20) 
4 miele, PERT BEKER. TIAMA RTS 
i TEX. 
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Wikb5.4.2 (Qr Sd ELE) 
步 1 BhacR, BER” 对 称 ， 求 得 近 册 梯度 gi 
$: =], s0., 
步 3 如 果 ls 贴 停 ; 
di? = — Big; 
X]$-1,2, = n, fE 
B (B.4.13) — (5.4.17) eff, mt, 
iP 3 th (5.4.22) — (0.4.25) TERI gx. Busts 
Cre = TD 
Jura Gut Bust Erpa 23) 
k: =h4+-1, $637 2. 


参数 r 当 k—oo HAFO., BH (5.4.20) 8 (5.4.21) 是 基于 
hI qr SRIRCGKEB] AAEM uide RHA, Greenstadt 
(19725) Fd — PCIE (CHE SE MRT (5.4.20) £j (5.4.21) E] Ae PE. T 
是 利用 变 分 性 质 同 样 可 导出 计算 天 和 Bue 的 公式 , 握 作 者 所 知 ， 
并 没有 人 对 无 导数 所 和牛 额 法 的 收 伍 性 进行 过 分 析 。 


二 次 规划 


二 次 规划 是 最 简单 的 带 约 东非 线性 规划 的 癌 题 . 它 是 在 组 性 
约束 了 求解 一 个 一 次 函数 的 极 小 值 , 可 写成 


min 人 和 十 > Hae Qa), (6.0.1) 

cH" 

H. t. aim = b, p= l, ser. Hby (6.0.2) 
az, =m], m (6.0.8) 


其 中 m>m 20, ER, HCR'U*HBXIH,ecR" hcR(- 
poe 4， 有 时 一 些 约束 是 上 下 界 形式 ; 
hv (j=l, e, nw), (6.0.49 
Po ee l AE i PSE, Leu 是 变量 2 的 下 界 和 和 上 算 . 还 有 
的 癌 题 要 求 变量 是 非 负 的 ， 
220, j—1, omn, (6.0.5) 
条 件 (6.0.3) 可 写成 如 下 形式 . 
zc. (6.0.6) 
二 次 规划 是 十 分 特别 的 一 类 约束 规划 问题 ， 所 以 对 它 的 求解 
FEHB RRA. KLE eT. AVP SEG. 如 
ne 2 4 EIL BR TE ee NE, AB HI EAB — RB A}, OR RE 
x TE 23 ha E ZP RIT RES RER ARE Kt 
REAME. AARE RRO KAA E ER 2p TLE 


§6.1 基本 性 质 
在 二 次 规划 问题 中 ， 日 标 廿 数 的 海 色 阵 和 和 约 开 函数 谣 雅 可 比 
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阵 都 是 常量 , PIR PE IA HR RET. 

由 1.2 节 的 结果 , 我 们 有 以 下 定理 ， 

定理 6.1.1 设 必 是 二 次 规划 问题 (6.0.1)~(6.0.3) 的 局 部 
解 ， OFERT Ag (¢=1, se, m) B8 


gt Harc Aii (6.1.1) 
A Lapa” — b] =f, D= Met Ll, sets hs | (6.1.2) 
Ay =D, $= Mat l, tt, Th, (6.1.3) 
且 对 一 切 非 零 8 满足 
d7a,—0, 4C I(z*) U E, (6.1.4) 
均 有 | 
d* Hd 0. (6.1.5) 


其 中 B= {1, es Mme} 以 及 
I(r) = i af at = bi beme tl, «+ mt}, (6.1.6) 
£6.12 Bot 是 问题 (6.0.1) ~ (6.0.3) 的 一 个 可 行 点 ， 
NURJREGCROQ(—1. = mm) 满 足 (6.1.1) ~(6.1.8), 且 对 一 切 


SES d. 满足 
dm=, pE F, {6.1.7} 
d*a;z-0, ¢€ Ilr"), (6.1.8) 
d7q,=0. ¢C Fis*) H A170, (6.1.9) 
IH 
d? H d90. (6.1.10) 


T z^ 4-816 01) 一 (6.0.3) 的 局 部 严格 极 小 点 ， 

MR H 是 (正定 ) 半 正定 矩 降 , 4.0. 二 中 的 目标 函数 是 (严格 ) 
凸 应 数 ， 这 时 间 古 (6.0.1) (6.0.3) 被 称 为 (严格 ) 凸 的 二 次 规划 
问题 ， 由 于 二 次 规划 的 可 行 域 非 空 则 必 为 凸 集 ， 所 以 当 目标 函数 
Fh GAM, 任何 Kuhn—Tucker 点 必 为 二 次 规划 的 全 局 极 小 点 ， 

定理 6.1.3 RH ABE CR, UU cti KM xD el 
(6.0.1) ~(6.0.3) HARRAN EL DUM a^ 是 可 行 点 而 且 存 在 
Sed Mmi, s m), BE (6.1.1) — (6.1.3) JR GT. 

设 瑟 是 正定 矩阵 , 由 定理 6.1.3 "| AD S RE(6.0.1) ~ (6.0.5) 


138 — ik - oM 
SP tt FR 
g+Ha= AX, 
mw= bp tE E, 
a; wb tel, 
[at o—5,] —0. ec I, 
A770, $c I, 
其 中 f= ia 1, db. mi, A= (Ais tg Àn): E] S 
A= [dt ***5 Gm]. 
ji 
y= ÀK— g, 
t= aw- b $C I, 
Bi (6.1.11) ~ (6.1.15) n] 3 RF 93 JE XX: 


0 
0 
fmet1 
_ T 
PLNS "| fm 
d 
Ü 
AX — y =g, 
A;z-0, $E, 
HAÀ;—0, $C I, 
290, $C I, 


&igRE 6.1.3 nj41(6.1.19) ~ (6.1.33) Str FR 


B. t. AXN-y=g. 
Age 0, el. 


[第 六 


(6.1.11) 
(6.1.12) 
(6.1.13) 
(6.1.14) 
(6.1.15) 


(6.1.16) 


(6.1.17) 
(6.1.18) 


(6.1.19) 


(6.1.20) 
(6.1.21) 
(6.1.22) 
(6.1.23) 


(6.1.24) 


(6.1.25) 
(6.1.26) 


由 于 问题 (6.14.24)} ~ (6.1.26) 5(6.0.1) (6.0.3) HSH, B 
4138 (6.1.24) ~ (6.1.26) X (6.0.1) (8.0.9) Bj 4s (dual) 网 
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E, R (6.0.1) 46.0.3) 为 原始 (Prime) 问 题 .对偶 问 题 (L6.1.24) 
6, 工 .26) 还 可 化 成 更 简章 的 形式 : 


max(b--AH-ig)'A— L A (ATHA) (6.1.27) 


s.t, A20, ec I, (6.1.28) 

GE CA, y) (6.1.24) ~ (6.1.26) AFT, e (6.0.1) 一 
《6.0.3) 的 可 行 点 ， 我 们 有 
Qa) —Q(, y) 


-27[AA- y] +-5 a" Ha 
~ [PAn] E ht HYy| 


mm 2 Mh lo" Had-yH y — 22"y]. (6.1.29) 
JP 58(6.1.18) EX, BP. E IE T XER IB 


Qa) SQ. y). (6.1.30). 
(6.1.30) BE i FHRS 
25 Ati =O (6.1.31) 
xl E 
z= Hoty (6.1.32) 
(6. 工 .32) 显 然 等 价 于 
Ha+g= AA, (6.1.38) 


从 而 证 明了 以 下 定理 . 

定理 8.1.4 ZHE MERAMA TER, 则 是 问 
题 (6.0.1) (6.0.3) fr] lK S H £C ZEE QA, y") 为 问题 (6.1.94) 
e- (6.1.26) BORE o" = Hy", 

对 于 原始 回 题 无 可 行 点 的 情形 , 我 们 有 以 下 结果 ， 

定理 $.1.5 i H iE, RRABAADA RE SAR4YH BA 
题 无 界 

证 明 如果 原始 问题 有 可 行 点 ， 由 (6.1.30)? 即 知 对 侦 问 题 的 
目标 函数 在 满足 (6.1.25) 与 (6.1.26) 的 集合 上 一 臻 有 界 . 

现在 代 定 原始 问题 无 可 行 点 , 于 是 
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(af bòr=0, iE E, (6.1.34) 
(af b)e20, ic I, (6.1.35) 
(0 0 1x0, (6.1.36) 


Æ eG Re? 上 元 解 , 由 Farkas 9]38 (3138 1.2.8) B An fg 4e. h= 
1, a | 7); dH ig 


' ha, = 0, (6.1.37) 
f=] 
7 X51 (6.1.38) 
iml 
A0, é€ I, (6.1.39) 
A A m Ehys y= — f; w p> roo by 有 有 
OCA, y) =i >+, (6.1.40) 


MOUSER BIR. ROR M 
原 抬 问题 (6,0.1) ~ (6.0 3) 的 Lagrange 函数 是 


La, A) = Q(x) - 31 (at o — By), (6.1.41) 


ASME HB. RA (6.1.11) — (6.1.15) Sip FR (o. A) 在 区 域 
{(a, 239 [4270. 6C D KM REM. AT Oe, 入 的 海 色 阵 为 


-| H *| (6.1.43) 
—AT 0 
fx FY | 
| I "den! FILI 0 | 
ATH- I 0 I 0 —ATH-iA[ 
(6.1.43) 


HFH E B ATHCA BAPE. MC6.1.43) "Dm v7L 
BEA n TEREE MEHEKA BETLBIT EC IE REI A 的 秩 . 
PE Lis, 加 的 稳定 点 总 十 一 个 鞍点 (saddle point), K qESR 
化 情形 A—9, b=0 H, D(a, A) —Q(z). kM (x. 和 的 稳定 点 是 
Lis. A) RBA A. 

E (at, M) (6.1.11) (6.T.15) 的 解 ， 则 对 任何 (6.0.9) 与 
(6.0.20 B [fT pa o, 我 们 有 


$6.1] 基本 人 性质 14i 
L(z, 4*)=Q(e) - 9: M(afa— b) 
= Q(a") — 3} Mafat— b) 
+ Q(x) —Q(2") 一 >, Aj(G, 7— b) 


w= F(a", A") t (m—z') He) 


Ls, A5). (8.1.44) 
35 — 73 Bil, XE EE AT RY BS [0] ER (O .414.27) 与 (6.1.28) 的 可 行 点 和 不 难 
得 到 
L(a*, X) =Q) — 9 atat — bj) 
om Lx, A*) -— 2 A(ara* — ba) 
«L^, A). (6.1.45) 
反 过 来 , HAER BY oC Re Fl ATC ER", 如果 
Lie, A )zmL(mA ILL, A) (6.1.46) 


XF— UH g(6.0.2) (6.0.3) I ao 和 一 切 满足 (6.1.23) 的 %\ 都 成 


Q(z) - 3} AF (aFa— b;)>Q(2") — A5 (atat — b), 


(6.1.47) 
(CAA, AN) s. (6.1.48) 
i (6.1.48) BD Ag 
(A—A' ViL(z*, at} > 0, (6.1.49) 
hi $C I (6.1.50) 


LA. AH Farkas S[S8 (S[ 38 1.2.8) BRI æ" ie EE (0.1.12) 与 
(6.1.13), (6.1.49) np 4 
Me — b) —0, éC I, (6.1.51) 
假定 
| | ALzeO, EI, (6.1.52) 
mig (6.1.51)40(6.1.52) nj aE 
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> Ne (afa — 5) >> M ara" — bi) (6.1.53) 
XF— Bj iW (6.0.2) 4 (6.0.3) Ho Wa. 从 (6.1.47) 和 
(6.1.53) Bl AT HE e. 
Q) (a) O(a"), (6.1.54) 
TETA «e 是 原 娩 回 题 46.0.1 (6.0.5) RF. HERDET 
XB 6.1.6 i H EE W 75(6.0.1) (6.0.3) E CA H 
[UA TER E (9.1.52) Hp A,(6—1, =, m), PE Wi E 
(6.0.2) 5 (6.0.3) f] o 和 对 一 切 满 足 (6.1.38) 的 入 都 有 (6.1.46) 
WAL, 
定理 6.1.6 RR SKK RRS HT OR E RI Lagrange 
eg X BE A 
ZKE YR B EIE FE Dennis(1959) sl Dorn (1960) 4 
和 进行 研究 的 、 事实 上 , Ow aE 25:523 X] 


min fi» (6.1.55) 


8. t. QO,(z)70, de, ++, m), (8.1.56) 
其 中 fio ters EE EE, Oa (6-1, *, m) ENAR, PF Swe 
的 详细 讨论 可 见 Rockafellar(1970). 


§6.2 $ 5X £g KR 
FEASTS HF PIE FU SS hy A T SRL X] 9) T, 
min gl 2 THa-Q(z). (6.2.1) 


sc R^ 
S, t. ATm-—b. (6.2.2) 
其 中 gEBR", DER", ACR"" TER”, BAe, Raw 
性 , FY REBECA) — m, 
首先 , 我 们 考虑 变量 消去 (elimination) 方 法， 假定 我 们 已 找 
到 = 的 一 个 分 解 oe (wg, ox), HP og CR”, gy ER”, H b. 
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的 分 解 4 二 [4s, As] E As TM. 出 知 约 束 条 件 46.2.2) 等 价 于 
Artt Atay =b, (6.2.3) 
由 于 Ar FEE, AL 
ts Á ST [b —.AT Ty]. (6.2.4) 
将 (6.2.4) 代 入 (6,2.14)， 基 得 到 (6,2.) 与 (6.2.2) 的 一 个 等 价 形 
式 ， 


min fley + = of A um, (6.2.5) 
其 中 
on =gy—AyAZ get [Hys— AwAs Has| Axe, 
(6.2.6) 
Ry = Hyg — Hyng AS — Ay Ay Hayt An APH pp AZ’ As; 
(6.2.7) 
H. 
s=% (6.2.8) 
gx) 
H ag Mud 
1] — (6.2.9) 
P Huy 


SENT ME, oo (Za, ty)? BS Zr E. 
An Ay 正定 ,由 显然 (6.2.5)7 的 解 是 
Cx = — Hg. (6.2.10) 
M(6.2.4)$1(6.2.10) 4 AH 88 (6.2.1) (6.2.2) A 


^ -T r 4-T 47 
EAT Mose nm 

HEH x* 外 的 Lagrange RTH M, WA 
g+Hat*= AX, (6.2.12) 

Bi E XI 
N= Ag [gg + H rner Dawes). (6.2.13) 
mE Ay BIE, 则 在 

(I-A, At) gu (6.2.14) 
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Ry, [818 (6.2.5 4A, 日 46.2.5) 的 解 可 表示 为 
a= ~ Bist (IT— BHs)S. (6.2.15) 
zE R” 是 任何 向 量 ， 互 + RAR HO BPO X X ES 于 是 利用 
(6.2.15)$0(6.2.4) noR 4 LB EE (6.2.1) 53 (6.2.20 Hp fü. WMA 
(6.2.14) 4: iar, BART MLIRJEN (6.2.5) PH, TR 3, 2 
FR. 如果 Ay 有 负 特 征 值 , 则 (6.3.5) 没 有 下 界 . 故 知 此 时 间 题 
(8,2,.1) 与 (6.2.9) 也 无 有 限 解 . 
消去 法 简单 ,直观 , ERR BARE. 45 可 能 接近 一 奇异 阵 ， 
IRI d (6.2. 10 RRE a” 28 e f PD RAE. 
消去 法 的 一 个 直接 推广 是 广 包 消去 (generalized elimina- 
tion) FE YE ys, +, Ym 是 Range( A) Bi — 28 EX TE GO [n] a: 23, 
eno tam SE Null( 4*) 中 前 一 组 线性 无 次回 量 ， 记 了 一 [na， c5 
Val, “= [z 75 Zam WA ATY JE AE Fi A*Z-—0. F d, 
(6.2.2) I fet RT EA 
a—Y ( ATY 3Y-16-- Za, (8.2.16) 
其 中 了 所 及" 是 自由 变量 .将 (6.2.16) 代 入 (6.2.1) 式 , 就 得 到 
min(g-- HY (A7Y )-*0)7Z&4- > £"Z*HZ&. 
(6.2.17) 
mu ZTHZiEj, mbi (0.2.10) vf fg d a. 
Pe—(ZTtHZ)?Z*(g--HY(ATY)?b), (6.2.18) 
Hy (6.2.18)38(6.2.16) BP ay 48.34 (6.2.1) 55 (6.2.20 RIN, 
z*-Y(ATY)35—Z(ZTHZ) !*Z*(g-- HY ( ATY ) b), 
(6.2.19) 
TE 相应 的 Lagrange RFA RA 
at (ATY)-TY * Ig + Ha’] 
=( ATY) YTH OHZ(Z"HZ)ZT]g 
+ (ATY YFH {I —Z(ZT HZY ZTH1Y (ATY )-!5, 
(8.2.20) 
如 果 适 当选 取 了 , 我 们 可 局 
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ATY =], (6.2.21) 
HAM, (6.2.19) 55 (6.2.30 Y pf 
r= Fb- Z(ZTHEZ Zg HYB], (6.2.22) 
A*—YT[Pg--HPTY b]. (6.2.23) 
其 中 了 是 一 个 从 OR” 到 Range? AHI gi 8) ER BR. 
P-—I—HZ(Z'*HZ)-Z*. (6.2.24) 


BR (6.2.2) pg 7 Null (47) Few. JU 
AGB GS ESIEdE SE T (XX Kim] pde BAN We. ABZ 
BTE E (6-1, e, n— mPa, SR RET PS Qo) 
ETRA EGREGIE RETER Egg 26 ZR IK BR CR INTRO 
BAG. 2.17) Mm ZHZ Ae 45 (reduced) & TR, fla E 
Z'ig- HY CATE) AO) SAR, 


EX 
Ayt 
y=! | (6.2.25) 
T 
| dw As 
Z= | | (6.2,26) 
EM. 


Wi Al (6.2.21) 成立， 这 时 由 (6.2.22) 5 (6.2.23) 就 可 得 到 
(6.2.11) 8I1(6.2.13), 


另 一 种 选取 随和 2 的 方法 是 基于 AR QA. 设 


"m M a 6.2.27) 
=al =i QI, |. (6.2. 

其 中 @ 是正 交 阵 ， 有 RE 有 Rm*m 是 非 奇 异 上 三 角 阵 ， 于 是 我 们 可 取 

¥=(A*)=Q,R-, . (6.2.28) 

Z Qa. (6.2.29) 


显然 (6.2.91) 也 成 立 . 
A'Z = 0 和 (6.2.31) 可 写成 如 下 形式 
ATTY Zj-[I OI. (6.2.30) 
Bu eV CBee 和 使 得 [4 VIATA MEA IO 
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Af E i 
[Y Z) =| | (6.2.31) 
必 潢 足 (6.2.31). 
i 6.2.82) =] » |, 见得 到 (6.2.25) 与 (6.2.26); X 


V =Q, 则 得 到 (6.2.28) 与 (6.2.239). V 的 选取 方式 不 同 , 则 得 到 
不 同 的 了 和 2,; 从 而 导致 不 同 的 计算 o 和 入 的 公式 . 正 册 于 这 个 
一 般 形式 (6.2.31)， 了 leteher(1987) 指 出 了 不 少 早期 求解 二 次 规 
划 的 方法 ， 如 Beale (1959) 773k, Wolfe (1963) 方法 和 Murray 
《1971) 方 法 , 都 可 以 看 成 是 广 浆 消 去 法 . 
我 们 可 将 (6.2.23) 与 (6.2.23) 写 成 
a*= — Z (Z"'HZy Zg +P"Yb, (6.2.32) 
A*—YTPg--Y*HPTY b. (6.2.33) 
下 而 给 出 的 Lagrange 方法 也 可 将 解 表示 成 (6.2.32) 与 (6.,2.33) 
的 形式 . Lagrange 方法 是 求解 可 行 域内 的 Kuhn-Tucker 点 ， 
H Lagrange 耳 数 的 稳定 点 。 对 于 问题 (6.2.1) 与 (6.3.3)， 我 们 
要 求 


g+Ha= Ah, (6.2.84). 
AT b, (6.2.35) 
GREKERA 
H 一 过 j| æ _ |g 
|a 0 li] Hi (6.2.36) 
iB 阵 
aA 6.2.37 
ar 0 | (6.2.37) 
np 3j. M FEE UCE"", WcE"" TOR ™, 使 得 
U Ww H  —4A]4 
p Ae 0 | ] (6.2.88) 


FEA(G.2.36)9 (6.2.38) uJ Xl Lagrange PE 3 AY $8 5E JR (c 0°) 
JJ 
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Sh TL ew 
Ae | We "T b 
从 而 可 知 
z*=— Ug— Wb, (6.2.40) 
= —Wg—T5. (6.2.41) 


RESBEECO.2.27) BY ui, (6.2.38) PAY U, Ww T VE— B8 xc. 
BU, W. T BI SEUOESCB TP AS, AT SAR BART Re 
3k (8.2.40) (6.2.41). 

= H pu. A 列 满 秩 , Wu CATH A) ee, EUR 

H A? 
"a 
H-—H-3A(ATHA)-4A7H-. — H-4ACATH-1A)-3 
-| — (ATH-1A)347H — (ATHA) | 


(6.2.49) 
# FA (6.2.42) A (6.2.39) BD AS 38] 


ga w= — H-!gA-H-^*AC(AT E71 A71 [.ATH -*g-r- 5]. 


(6.2.43) 
M= CAT H4) LATH-!g 4-5], (8.2.44) 
RYZ i (6.2.31) 2 3L, 则 不 难 证 明 
H Al! [Z(ZtHZ)À3Z* -PY 
| | -| -YTP _ynpry |: 
(6.2.45) 


于 是 , (6.2.40) (6.2.41) WE (6.2.32), (6.2.83), Jiu 
着 出 Lagrange FWA) MIR EAS fe PE. 

利用 Lagrange 方法 求解 二 次 规划 问题 的 关键 在 于 如 何 有 效 
地 求解 线性 方程 组 46.23.36) 有 时 等 价 于 求解 矩阵 (6.2.37) 的 逆 ， 
关于 这 方 而 的 详细 讨论 可 见 Fletcher(1987), 


86.3. 积极 集 法 
积 执 集 法 是 通过 求解 有 四 小 等 式 约 束 二 次 规划 问题 来 解 块 一 
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SGT UCL, FERE OR ANE T URL D 39. 
=, 理 6.8.1 设 w* 是 二 次 规划 同 题 (6.0.1) ~ (6.0.3) Hae 


解 ; 则 m^ cna ERI E 
min g'at a’ He (6.8.1) 
st. afe-b, EI UE, (6.3.2) 


BAR. RZ, 如 果 a 是 (6.0.1) (6.0.3) HAGA, 旦 是 (6.3.1) 
与 (6.3.2) 的 局 部 解 , 如 果 在 w* Sb Lagrange RT A* S E 

和 eC I(a*). (6.8.3) 
5] c" 必 是 原 问 题 (6.0.1) (6.0.3206 Kuhn-Tucker 点 . 

证 明 HFE e 苦 近 处 ，(6.3.2) 的 可 行 点 必 是 (6.0.2) 与 
(6.0.3) HAITA. BTE ASA at 是 问题 416.0.1) ~(6.0.3) EPT Jed 
部 解 时 , c" 也 必 是 问题 (6.3 1) 53 (6.83.20) PERDRE. 

BUTE (ae o $6 (6.8.1) (6.3.2) 09 Je, e AW E (6.0.2) 73 
(6.0.3), WP (6.8.3) B Jo, RAT eX 

Ag=0, $C dome td, e, mii f(a"), (6.3.45 
bl X z* JER (6.0.1) (6.0.5, 0g Kuhn-TFucker Ai, E 

积极 集 法 是 一 个 可 行 点 方法 , 即 每 个 迭代 点 都 要 求 是 可 行 点 . 
积极 集 法 的 基本 思想 是 每 次 迭代 求解 一 个 等 式 约 东 的 二 次 规划 问 
EH. 如 果 46.8.3) 得 到 满足 , 刚 停 正 计 算 ， 否 则 ,可 去 摊 一 个 约束 ， 
重新 求解 等 式 约 更 问 题 , 直到 求解 到 (6.3.3) 得 到 清 足 . 

Ee RRER, BATA v. 以 及 一 个 下 标 集 合 Bx 和 BUI. 
其 中 加 = 入， mj}, I={m 41, e, m). he, eR 


min g'(z-d)-- s-(m-Fd)"H(ayd), (6.3.5) 
* +L 


s.t. afd=0, ES; (6.3.6) 
Rye. Ay GCS, FEA AY Lagrange 3E T, MEd, =0, Wi a, Ak 
inl Ai 

min gtat olf x, (6.3.7) 


Gi Ob, 6C I, (6.3.8) 


$5.5 Flam S ik 14n 


fi Kuhn-Tucker jk. WIE AP 0 对 一 切 名 己 训 ;但 工 Hm, Uf 
ey XE n] RÁ(6.0.1) ~ (6.0.3) Kuhn-Tucker À. RW, RA 
AS ES, I fui 

AO? — min AC 0. (6.3.9) 


HR Bw 一 Sn tte), 然后 重新 求解 (6.3.5) 5 (6.3.6), 

$$(6.3.5) 5 (6.3.6) IE E dO. 这 时 ， est ds 很 可 能 不 是 原 
问题 (6.0.1) — (6.0.3) B] RIT. dE REE aay, +d, [OE zx 十 
d; cx] BAT ATE AF UR RBS TAIC A sea EREIN: 


Vp 一 ty -F (tuts (6 e. 10) 

其 中 
o, ming, min bm] (6.8.11) 

nx “a i 


现在 我 们 可 纵 出 积极 供 法 的 主要 步骤 ， 这 个 方法 是 由 
Fletcher (1971) 5i fH SER. 
算法 6.9.2 
步 1 Smt man & S= EU Tim) b=; 
步 3 RS (6.3.5)4 (6.3.6), 得 出 dy, 
T] T. d 360, Wil ££ 2p. 8, 
fin J& AY? OCC SLT), mg, 
E (6.2. 7)5R 18 the 
SiS Ar {i}. 转 步 3; 
Z3 由 (6.3.11) 计 算 步 长 os 
Dy 12 = Dp H ylli 
对 36€ Sy 作 ， 
WR aj ri 一 bs W By: SU jh 
I E Dm= Sn A =h- dpa, 
TRH X 6.3.2 d— ^r pP MEN IE, RICH 
Qm a Qm. (6.3.12) 
E. dy O(a, AE (6.3.7) 5(6.83.8) fj Kubn-Tucker 点 ) H 
xy, O, 则 有 
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ME 1) QU). (6.3.13) 

假定 算法 (6.3.23) 不 有 腿 终 止 , 则 由 于 只 有 有 有 限 个 约束 ， 不 可 

能 无 穿 次 的 增加 S. CHT RMR, MMA THE bE 

得 4; 一 0， 于 是 有 无 穷 儿 个 使 得 避 蚌 (6.3.7) 与 (6.3.8) 的 解 . 

由 于 只 有 有 有限 个 约束 Sx 只 可 能 有 有 限 个 不 同 的 集合 ， 从 而 可 知 

必 有 无 要 个 wv 相等 , 因为 算法 是 下 降 算 法 , 不 难 证 明 , 存在 充分 大 
的 和 4 EZ. HE, 


Qa) = Qn). (6.3.14) 
Kk Hoy, =O X— D) koko 均 成 立 , BDAY 
一 (6.3.15) 
THA PERES. Rei ho 使 得 
dy = O; (6.3.16) 
则 存在 ACE SL), 使 得 
g+Hr= P3 aA”, (6.3.17) 
不 妨 设 在 去 掉 sw 后 产生 的 dua REFS, 则 由 于 om 一 0 ME 
| j ES a Lin} (6.3.18) 
使 得 
at= by, (6.3.19) 
| Bj da, 0, (6.3.20) 
其 中 du 是 问题 
min 9? (d--3) + 3. (d-- 8) H (d 2), (6.3.91) 
at. ald-0, $C Su eui (6.3.22) 
的 解 ， 显 然 
(g -- Ha) *da< 0, (6.3.43) 
利用 (6.3.17) (6.3. 22) 81(6.3.23) 8] A 
A a6 din <0, (6.3.24) 
由 UP B IE XUL APPIO, CS 
ad, dn 7-0, (6.3.25) 


K.(6.3.20) 71(6.3.25) 53 j im 再 利用 关系 式 (6.8.15) 即 知 
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j& S... (6.3.26) 
Er RB, AERE d= 0 的 最 小 整数 , 则 知 
JE Sm. (6.3.27) 
所 以 , 我 们 有 
g+ He= $ aM", (6.8.98) 


FH. S se ius, 从 而 是 两 个 不 同 的 等 式 约束 优化 的 Kubhn-Tucker 
JA. MTOM AL, RR RAGE it (degeneracy), qz AiR ERE jn; 
EREE LR, Ke ER XUL BST fh JER D] ie 可 见 Pletcher 
(19870 38 Luenberger(1884), mH (EW 4p 7r IEXEOM ELE 
ea DATS, ICRP oh A es Xd: Charnes(1952) 提出 来 
dy; 另 一 种 方法 是 由 Dantzig Orden fl] Wolfe(1955) $2 H [f] ii 
顺序 (lexicographic order), PPA TEES LAY Ss 重新 出 
现 , ST SEREGB [E83 375 EB et ib n] X, Fletcher 1987). 

从 上 而 的 讨论 ; 我 们 有 以 下 和 定理; 

定理 6.9.8 wario 由 算法 6.3.2 产生. 车 算 法 不 是 有 
Ege qb, We BRIE. AAA 6.3.2 ba RS, 
HADA BR CX AUR S8 IE TF IRI ER (6.0.1) ~ (6.0.3) ay Kuhn- 
Tucker 点. 

关于 算法 6.3.2 Bp mpg dra. OA RAE R E K 
AY M2 72 (simplex ) 77 TE T] 58 — Br Ex (Phase DA ERE. 

另 一 种 可 能 是 问题 (6.3.7) 与 (6.3.8) 元 下 界 , 此 时 , 我们 可 求 
得 一 方向 x; 使 得 


a dy —0, $€ Sy, (6.3.29) 
FUB | 
di Hd, 0. (6.3.30) 
或 者 
(q7+Ha,)"d,<0, di Hd,=0, (6.3.31) 


WR —- WES, 均 有 «040, WHE A e] EE (6.0.1) 
(6.0.2 EFR. BO, Me ES: Bald, <0, Mita a 

yb adi, 
对 充分 太 的 a 不 浦 足 (6.0.3}， 于 是 ， RN WR, BA eK Bo 
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Cy + ad, 是 可 行 点 . 


$6.4 对 偶 方 法 
本 节 我 们 讨论 严格 凸 的 二 次 规划 问题 : 


min ga T s Ha Qo), (6.4.1) 
rcE" 

s.t. afe-b, $C E (6.4.3) 

alezb, $C I. (6.4.3) 


AS TE. H EXE E A Qiao) REGE 考 忠 
(6.4.1) ~ (6.4.3) ff] XE Bh m BCG 1.277) 5j (6.1.28 RR OK, 
wR PUA AY E 


max(b-d-AH-1g)'A- a M(ATHA)A, (6.4.4) 


st. N=0, EEN, (6.4.5) 
ff] Kuhn-Tucker 4, W| 
gy, — H-i[lg— ARF], (68.4.68) 
Tq EX ay d In] 
min g'z +s at Hz, (6.4.7) 
at. am—5, 9d S, (6.4,8) 


的 Kuhn-Tucker E. Bi Fst (6.1.27) 5 (6.1.28) BG BUR Pi s 
正 是 逐步 求解 (6.4.4 与 (6.4.6)， 解 (6.4,1) 7 (5.4.90 B XE RT. 
法 正 是 等 价 地 逐步 求解 (6.4.7) 与 (6.4.8), EL S, 的 确定 是 由 积极 
Si Hey FB FT TB RI 题 而 确定 的 . 
it Sy—IU ES, B(6.4.7)_ (6.4.8) F1(6.3.7), (6.3.9 
一 样 的 ， 我 们 记 列 向 量 由 GCS, ARNE A, E 
At= (ATHAN TALH I, (6.4.9) 
ÉH,—H-(I— A,A*). (6,4,10) 
A Fins, ILT Goldfarb 和 Idnani(1983) Xf (877 H4 
INF Om =O 的 情形 )， 


g 6.4] 


Xo X 法 
算法 6.4.1 
3b 1 wm= —4H 7g, fi F geu 
S1—d4, kb: —1; 
hË, g=0, 
$2 计算 rbi ai an, = 1, +, ny 
Pipes T = 0, TU FF 
^ 
e pii Tp =O, im 
I3 dy: = Ais; 
Yr: = Ane, 
A 


| Cei (Au, 
— min 
UA ausa Lads Gh] Cade 


we 如 二 ars0 则 转 步 5, 


BWR as 50, WUE CEL EL 7G nf $T EO 


Set = Sy) UE g=-q—,; 


Ty 
As; * = As -上 | 1 "| 


修改 AS 和 Ay. 转 步 3. 
JpB & = — (bp—aba,) /apdy; 
Ot =minia,, at, 


ow = Ey H uis, 


1 
fear = fa H ma, a, (5 Mig 二 sess) 


mi 
Maiden 1 ! 


Sa SU ipti gets, 


修改 Aes 和 Ata k- kl, Sep 2. 


Jp" Saaie dh: ggi 
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(8.4.11) 
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从 ^« PERE b Por Be, 得 到 Aa; 
修改 A, 和 AN 转 步 3. 
出 于 Ay ROSE [9] BR BAT kis OP 
(Aa eed, $C I, (6.4.12) 
TUEÉREXPHBE B 6.4.1'Bpr£7 4: B9 o, 0 DOE fe] (6.3.7) 5(6.3.8) 
EE. m E dE 


min gets c Ef x, (6.4.13) 
st. am—b, 4CS. B, (6.4.14) 
aor, 468,72, (6.4.15) 


Hy E. 
E HTT Hate +, Goldfarb 和 Idnani 建议 用 二 的 
Cholesky 4+ 


H-—LL' (6.4.18) 
以 及 对 矩阵 上 -ds 进行 QE St RR, WA 
L-14,— e (6.4.17) 


PAE RA H7 数 慎 稳定 性 要 好 多 了 . 
Powell (1985) # 9 Goldfarb 和 Tanani 的 分 解 方式 [6.4.16) 
与 人 ,4.17) 仍 可 能 出 现 数 值 不 稳定 , 于 是 他 建议 采用 


A= Qs) Y |- [Q^ QP o] (6.4.18) 


la BRERA (reduced) Hessian BE [QD 1H QU? 的 反 Cholesky 
Sy ie, 即 
U,U£-—[QP]THQi". 
其 中 wx EEZ AER, Powel AMMRRRRKEREE QU, Ry 
和 和 Uz, 
另 一 个 对 侦 算 法 是 由 Lemke (1962) 48 way, Lemke 方法 的 


基本 思想 是 利用 Beale (1959) ftf Jk $E [8] 15 3E OR RENE S IRI 
(6.1.27) 与 (6.1.38). 
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Ay STA 3c Et ah ee ADS [81 A — + ta Crime) 23. OOK 
求解 . ADEA — Vo ke ES 08 A SB — Er Ex (phase I) 
方法 去 求 可 行 点 . 对 偶 问 题 的 一 个 显而易见 的 可 行 点 是 六 一 0. 


$6.5 线性 互补 问题 
本 节 介绍 一 种 解决 二 次 规划 问题 


P T 1 7 
min g stye H a, (6.5.1) 
at. ATs b, (6.5.2) 
c) (6.5.3) 


ASE PR TBE KATEEK UON EJ(5.5.1) ~ (6.5.3) HERE 
线性 互补 问题 , A por £R TE EL AP IB] BR AR 
An HES A$ (6.5.1) ~(6.5.3) 8 Kubn-Tucker 条 性 为 


g+Hs— AA+ pb, (6.5.4) 
Atz=ai-+yr, (6.5.5) 
A20, LIU, oO, red. (6.5.6) 
REX 
A -—A g 
a- [s 0 | TRA! (6.5.7) 
则 由 (6.5.4) ~ (6.5.6) (8:9 
wMz= gq, (6.5.8) 
WD, 22-0, we=0. (6.5.9) 
其 中 -| "| EE: 
w-|. , :| “| (6.5.10) 


[3 (6 .5.8)5 (6.5.9) RRA RM Babee (Linear Comple- 
mentary probem), 简称 为 LOP. 

ARE IH. 当 gqz0 时 ， 线 性 互补 问题 的 解 汶 w= g, c=0 È 
解 线 性 互补 问题 的 方法 都 是 试图 找到 一 个 全 ,…, BRETT 
S, fS REE, 使 得 48.5.8) 变 成 形式 ， 
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40, — M yt, = Gi (6.5.11) 
U0, m0, wr z,—0, (6.5.12) 
其 中 
ts 如 时 $c Sus 
Qnin © z: nil. (6.5.13) 
me 如 果 名 EE Sis 
= 6.5.14 
C): P" UR eG Sy, 


集合 S, 欧 选 择 是 设法 使 得 min (ge) s Mm. BRUGES CRI xy 


互相 交换 某 一 相应 位 置 的 分 量 ， Se EE wy, BEE, 
而 把 如 看 成 非 基 变 量 ， 所 以 方法 和 线性 规划 的 单纯 形 法 有 着 十 
分 相似 之 处 . 

ie LOP 回 题 的 经 典 方 法 有 主 元 请 去 法 (principal piroting 
method), iA Dantzig-Wolfe 方法 . HEEM, Dantzig- 
Wolfe 方法 实质 上 等 价 于 我 们 在 6.3 节 介 绍 的 积极 集落 .关于 
Dantzig-Wolfe Jj EA TEA i HI I, Fletcher (1987), H-A 


Ae DORE LOP [EZ EAS Lemke (1965) 方 法 , 它 是 基于 求 
解 

w— Mz—zy8— q, (6.5.15) 

w0, ¢2-0, 29270, wiz=0. (6.5.16) 


其 中 e= (1, 1, =, 1)7, Lemke 方法 是 深 步 送 代 使 ww 一 0 H g> 
0， 从 而 得 到 原来 LOP 问题 的 解 ， 在 (6.5.15) 中 引入 zoe 的 好 处 
在 于 很 容易 得 到 (6.5.15) 与 (6.5.16) 的 一 个 可 行 点 


Zo 一 mim r (6.5.17) 
g= i), 
w = q +g, (6.5.18) 


关于 Lemke 方法 的 介绍 可 见 Bazare 和 Shetty (1979), 

线性 互补 问题 是 一 个 重要 的 问题 ， 它 除了 可 肌 来 求解 二 次 规 
HAJ EEL Sh RAT AT RE (Game theory) 以 及 边 值 问题 
计算 等 问题 ， 它 还 与 变 分 不 等 式 有 着 密切 的 联系 . 美 于 线性 互补 


$ 6.6) 内 点 算法 
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阿 题 药 最 新 研究 可 参阅 Cottle, Kvparisis 和 Pang(1990), 


§6.6 内 点 算法 


Karmarkar 在 1984 年 提出 一 个 求解 线性 规划 问题 的 内 瓦 算 
IE, Karmarkar 算法 不 仅 具 有 较 好 的 理论 性 质 , 即 它 是 多 项 式 时 
fal ff 3: (polynomial time algorithm). WAKARITE E 
明 它 是 一 个 十 分 有 效 的 实用 方法 ， 所 坟 不 少 人 开始 对 内 后 法 作 进 
一 步 研 究 ; 并 将 Karmarkar 算法 的 基本 思想 推广 到 非 线 性 规划 ， 


755 ES. 1 93. 20] [H1] Il 
min giz-r z-a" Ho— Q(»), 
at. As=b, 
zz, 
Ag = D, 
ty, 0. 
LH Karmarkar 7y — RE, $E X. EE 


(2&1 0 
D,— ne 
OF (2. 
HERH n: Tue 


Hn (a41)Dyle 
Ce? Detwt 1 7 
ta = (n-r13/ fe’ Dete+1J, 
则 将 问题 416.6.1) 一 (6.6.3) 化 成 


, A 4^ 
min PQS), 


8. t. A Dy [n] = 2,215 = 0, 


i= 1, shi" Tes 


(6.6.1) 


(6.6.2) 
(6.6.3) 


(6.6.4) 
(6.6.5) 


(6.6.6) 


(6.6.7) 
(6.6.8) 


(6.6.9) 


(6.6.10) 
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at=n+L1, (8.6.11) 
ain] 20, Ene > Ô, (6.6.12) 
其 中 e= (1, e, 1)5 on] = Gs, +, Ba), 
EEF (6.6.9) ~(6.6.12), Ye 和 Tse(1989) 提 出 的 一 个 
解 二 次 规划 问题 (6.6.1)w~(6.6.3) 的 方法 , E BE A RA 


min OE[n] +5 in "Renl /ds (6.6.13) 


s.t. Ac —b, (6.6.14) 
|z—ela «1, (6.6.15) 
其 中 
A= DHE Dy (8.6.16) 
G = Del (6.6.17) 
AD, —b 
a=] p | (6.6.18) 
0 
é—| C 6.6.19 
oo} ( ) 
L nt]. 


有 一 是 一 个 与 关 无 关 的 正常 数 ， 利用 Kuhn-Tucker 定理 ， 我 们 
知 求解 (6.6.18) 5 (6.6.14) 4 fp F 
Ont ES [n] = Åy [n] Th + ulein] — 8) (6.6.20) 


1 e^ A^ a ^ . A 
a2; — en] THin] = (3091) A (8, a — 1) =0, 
Ref 


(8.6.21) 

Aye — b, (6.6.22) 
[t-elas (6.5.23) 
p[[e—els— 81-0, n«0. (8.6.24) 


其 中 ALIO IE 4, B9 BU n FRA, ads dE A, 的 第 nL 列 . 
我 们 可 将 (6.6.20) 和 (6.6.22) 写 成 矩阵 形式 
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pl 人 Aiuti, (6.6.25) 
i. 
其 中 
A, +I  —ÁA[nl 
Pi AI] A | (6.6.26) 
-g ĝe 
b=| b b—| O | (6.6.27) 
—1 n+ 
B A Bayi, = — Xasalb, (6.6.28) 


于 是 , 对 任何 给 定 的 GSO, RPA (6.6. 25K Au clr], 将 
RBH A A oln] AR X (6.6. 2D C Bl PRB fna TERI H AE 
fat 70, 可 求 得 2( 2), SEL BR 
A(t) = 12 — el — 8. (6.6.39) 
Ye 和 Tse(1989) 建 议 用 对 分 法 求 得 Au EB AC) — 0 成 立 , 从 而 
#6 (6.6.18)~ (6.6.15) AR oa), EE m CA) BRA, 即 得 到 
下 一 次 选 代 点 Ge p AE UE 
Dri (uy) [5 | 
OC te) wt 
其 中 el fag) [n] — (2 usa, "Ts TET. 
下 面 是 Ye # Tse(1989) 给 出 的 求解 二 次 规划 (6.6.15 ~ 
(6.6.3) BE Aj E. 
8 5 6.6.1 
pi 1(6.6.20 8 (6.6.8) B] PRA m, :二 4. 
步 3 SRHC6.6.13)~ (6.6.15) 8m Qu, 利用 (6.6.30) 计 
AL Cui + 
步 3 WE ma K-T RUS, 
ki= k+l; 4676 2. 
ATH Karmarkar 方法 推广 到 凸 二 次 规划 的 内 点 算法 dE 
Hi Kapoor 和 Vaidya (1986) 提 出 的 、 内 点 算法 是 一 个 依然 十 分 
m REWENA ph VES AH ZL (B. W Goldfarb 和 和 Liu‘1991) 


Puoi Tr) — (56.6.30) 


130 — IX OE XU LERE 


Monteiro #1 Adler(1989), Ye #1 Todd(1990), CI Æ Mehrotra 
和 Sun (1990) 等 等 ， 值 得 指出 的 是 ; 内 点 算法 除了 及 armarkar 算 
EE a AH TENE (projection) AIJT 12 5h. 近年 来 和 八 们 又 提出 了 一 
尖 称 为 “中 点 元 迹 追 蔬 (Center pabh-following) Hi. iX X5 E 
的 算法 不 将要 作 投 影 变 换 ， 关 于 它 的 详细 讨论 了 可见 Sonnevtnd 
(1985). Ye 和 T'odd( 1990), 


第 Te 


5] K AX iE 


Ti EXE {penaliy function) ERIK 73x EI Fe 
AY ER FR ERES Sh Ta BIBAT idR. EES KS A E] 
题 非 约 东 化 ， FR BA AO DR RSE SRE AD ROA RB CL. 13 ~ 11 BA 
TAB ee TH a PE. h soe Ek Te ER Te e 
ANE TT BE, BCE REE BR] XH; ALD (sequential uncon- 
strained minimization) ik, MAA TA A Ah Stoeger. AE 
TERRE Riba Tae. ALT ee ee (barrier, $5 
A. WEN ER DC ie A ie RE CL 1-1) n 1 083 fe 1p 4 
HT, TER TA T BEDS 88 2] 5 dt (exact pennlty function), 77 
RARER, EE Ses) ACA REIN SE SACK E] Ri 
ej et, JHORDTU PEEL —HERGEGROUIPPSGTOGÉDCT 7023 XX 3€ 3 ER t HE IG 
fe UL th, Br ULTRI FH — 38 25 25] 9 RAY E A AR E PPP] ES ETE 
BS AC se see Brie ta FR. HT Karmarkar(t1984) 近 出 的 一 
^ RA EX FEL LS] AI ASE LS or ae, Aare 
重新 重视 梧 图 数 法 ， 解 约 京 规划 的 其 他 方法 在 判别 选民 点 好 坏 附 
都 用 到 某 一 罚 函 获 ， 所 以 对 蜀 盘 数 的 研究 对 于 求解 绝 束 规划 问题 
有 着 重要 的 作用 . 


$7.1 5. 8 T3 A 


Ex ELA Td AAN Em Courantt 194342 MAY, TAGES! EXE] 
RL 1.1) (1.1 DRM. Courant f a eA E N 


P(x, a) =f (2) ko to (2))*, (7.1.1) 
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其 中 o>0 是 一 个 罚 因 子 ， 悦 函数 《7.1.1) 可 推广 到 一 般 约束 规 
Au e) n, BE 

P(z, e) f(2)*o| S [o2] $ [n(2)-1*]. (7.1.2) 
其 中 


o(a2)_=min{0, 0,(a)}, (7.1.8) 
FRAT X. (a) = (er @), 4, 680225 H 


- Gm), tE E 
WI CT. 1.20 X ny 5 
P(z, 9) —-f(a)o- o1e(2) li. (7.1.5) 
显然 , w EE[RSECT.1.1) (1.1.8) f H4 ARAB ICH 
c(a)=0, (7.1.6) 
所 以 cao) MEER 6 RRR A (constraint violation), 不 难看 出 
le(s) |a= dist (o(s), O), (7.1.7) 
Hp O EAE 
C —ic|lec E^, aed, éc It. (7.1.8) 


本 为 对 一 切 xE€ X CBT, BA e(2) GO, PE disttoe(z), C) 可 
EMG sine LX A PEE 
我 们 记 eto) Æ BL 88 
min f(z) --c|&(z) 1 (7.1.9) 


的 解 ， 首 先 有 如 下 引 理 ， 
235 7.1.1 Boo roid, WHA 
f(z(o2)) > f(e(er)), (7.1.10) 
[elelr las leCo Cor) lla. (7.1.11) 
证 明 dA wD MEM, 我们 有 
fiela +9, |e(@(o2)) [3 
« f(a(o2)) +1] ¢(a(on)) 12, (7.1.12) 
f(z(o2)) + o2]c(m(o3))£ 
« f(a(a1)) -asle(z(o1)) 13, (7.1.13) 
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HB. En XB AR 
(oa 一 Go [fe(e(or)) l$— le(e(o3))12]1«0, — (7.1.14) 
于 是 (7.1.11) 成 立 ， 由 (7.1.19) 和 (7.1.11) 可 推 得 
f(a(o1)) «f (z(o2)) - eu[le(o(o23)) l8— telele Nh 
fio 03)), (7.1.15) 
Ka TA10) me. B 
2138 7.1.9. E 0720, ele) J& (7.1.9) BRE, 则 sf(c) 也 是 


约束 问题 
min f(a), (7.1.16) 
s. i. lef | ad (7.1.17) 


的 解 , 其 中 5- Elele) ) Ls. 
证 明 对 任何 2 满足 (7.1.19), 由 mte) 的 定义 , 我 们 有 
f(a) +0 e(@) f(s tols(z(o — (7.1.18) 
所 以 
f(@) >f(elo)) +o [le(2(o))12— fé(w) i8] 
== f(a(o)). (7.1.19) 
帮 知 z(o) 是 问题 (7.1.16) 与 (7.1.17) 的 解 ， — B 
由 于 约束 问题 (1.1.1) ~ (11.3) TS ot 


min f(a), (7.1.20) 
atlec s0. (7.1.21) 


所 以 , 24 5— fle(o(o)) LEAD, 我们 可 把 (7 1.16) EE (7.1.17) 
看 成 是 (7 1.20) 与 (7 了 . 工 .24) 的 一 个 很 好 的 近似 从 而 可 把 Co) 
fECT.1.20) 5j (7.1.21) 的 近似 解 ， TR EE Tk UK 
点 ; SBOE RM c. HE ag ie(e(o)) le, FRA HBA 
Courant THR BBY fi] eS C: 

@jE 7.1.5 

Jj l1 Bw a, o,>0, bi=1lis> 0, 

步 3 利用 初 值 zx 求解 

minf(z)-reyle(a) i, (7.1.23) 
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得 到 解 olay); 
i3 MRle(a(oz)) lasse; Rl ff, 
yt =D Op)» 
Fret = LOG; 


kt—=—k-+ 1, HP 2 


ROAM TIS PE BR. 
定理 了 .1 .& CHE TAS PHREA 满足 
e>min|e(a) lay (7.1.23) 
则 算法 必 有 限 终 止 . 
证 明 ”假定 定理 不 真 , 则 必 有 o> +00, 且 对 一 切 天 多 有 有 
le(z(o3)) Jems, (7.1.24) 
因为 8 满足 (7 1.23), TEE m, 使 得 
Je C2) |a e, (7.1.25) 


由 于 wlow) 的 定义 , 我 们 有 
f(a) torete $2 f (oQon) ) mulie alor)) 13 
2 fle(or))+o,|¢CaCo,)) li. (7.1.26) 
TE, 4 oy +00, 
leca lz kelele) hi 
> UGG) -fa 0, (7.1.27) 


RA (0.1.2450. (7.1.25) FE. PA XE PRI S£. E 
AK ETE xe R3 n] AT, ERY AFT jr x. 则 对 任何 纷 定 的 误差 允 
bp e>U, SOR RPA PRES te TO LAG 5407 1. T0) ER, Hose, 
EYL. MRA 7.1.38 408 B 2 ab, 则 必 有 


e«min|e(a) ll: (7.1.28) 
H. 
lim le(z(03)) l5 min lele) as (7.1.29) 
(z(o32 1 8] FE STRE ek o^. 都 是 问题 


min f(a), (7.1.30) 
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s.t. [e(2) | sm min )e(2)] (7.1.31) 
Ef. 
证 明 由 定理 7.1.40] RA Y.1.3 cu PR EEab, Ou] 
C7 1.28) ELE, 


由 于 ox 一 十 oo， 与 定理 7.1.4 的 证 明 完 全 类 似 ， 我 们 可 证 
(7.1.29) JF, 

设 o* {olor RE BRA, EC .1.20) Bf I o* 必 是 (7 1.81) 
的 可 行 点 . WMF at CRREECT.1.800 H (7.1.81) B RR, FZE c. 
使 得 

f(z)« f(a"), (7.1.32) 

H zW 5.1.8). BrT f(elo,)) BR, Bo 是 fzfoe)} 的 一 个 
Mee god 


lim f(z(0,)) =f (a°). (7.1.33) 
ACT .1.32) 5 (7.1.35) Al. E — WERA e BER 
fox f GG). (7.1.34 
由 于 <x 是 (人 .1.31) 的 可 行 点 , 故 
lem lesele) [ls (7.1.35) 
WW & REX. AC7.1.34) (7.1.2) TRA 
P(2, oy) - P(z(os), oy). (7.1.36) 


这 与 slo dR ENAT. 所 以 定理 为 真 .。 d 

定理 7.1.65 的 一 个 特殊 情况 是 原 问题 有 可 行 点 时 , BER e= O, 
则 算法 7.1.8 产生 的 点 列 {zx} 的 任何 聚 点 都 是 原 问 题 的 解 。 此 
时 , 我 们 有 


VfGna) tow ower) VOCs) m0. — (73.87) 
于 是 , 定义 
Agee? = — G'aC Orah (7.1.38) 


出 AM JE Lagrange RT A* 的 一 个 近似 . 事实 上 , [BOE cy x H 
Ve") GCEUIQC))BTEX X, W AMA", 
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下 面 我 们 介绍 两 个 内 点 罚 否 数 、， 一 个 是 由 Carroll(1961) te 
出 的 倒数 罚 阔 数 . 


P(z, )=f(e) +073) ay? (7.1.39). 
另 一 个 是 由 Frisch (1955 ) fe ti AS eT ps ee, 
P(x, o)=f(2) -位 loge,(a). (7.1.40): 


XXPS 4 T0 eg Si RF SAD BS AY SRL RIEN. Bl on, —0. PIECE 
(7.1.39)30 (7.1.40) A622 LEA TE ES. AD H ee BCE n] T3 LES] 33 
SAGA, RRA ERES XR. 考虑 极 小 化 问题 . 


min f(x) += M PX (T.1.41) 
设 给 出 的 初始 点 了 是 严格 内 点 . 即 
ale) >0, $—1, =, m, (7.1.42) 
yj ECT eg ACT 1.39) de T fr d 
X -—izle(r)z0,$—1,23, +, m] (7.1.43) 
的 边界 上 无 界 , Bet .1.41) BE elo) MEA A. W 3 BUNC Tl es 
H RIB: 
2138 7.1.6 igd&(o) (7.1.41) (7.1.43), W o:> 
gy > 0, 7H. 
Fielo -—fimioi)) (7.1.44) 
1 (7.1.45) 


£u erc) "Ci e(mx004)^" 
证 明 与 引 理 了 .1 .1 的 证 明 完 全 类 以 . E 
BRET.1.3 280, Ted n T ERU RI BA T E A A x 1 B8 
WE. 
算法 ?. 工 .7 
Hed fA Ap mu, 0470, 82-0, 在: 一 下 
步 3 BH Oe cs 求 解 
min f (z) + 5 1 


Tx i=l em) i 


(7.1.46) 
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得 到 解 o (o2), & Cyr = a(x); 
步 3 WE 
EGG (7.1.47) 
Wil ££: 0x17 1005; b: —£ 3-1; 转 步 2 
与 引 理 了 .1.3 264, 我 们 可 证 以 下 引 理 ; 
3138 7.12.8 Ba 7.1.8 ERRET oro 则 wtz 是 问题 


min f(s) (7.1.48) 
S. Doc (7.1.49) 


的 解 ,其 中 8 — 3 1/e (maa). 
证 明 对 任何 满足 (7.1.49) 的 o 由 ms 的 定义 可 各 
fa) tor È om f Una) tor B sry 


xt) imi xy 


(7.1.50) 
AH CT 3.49) M7. 1.50) EPA 
f (2) mf (3). (7.1.51) 
MUERE E 
E] BACT 1.48) 与 (7.1.49) 可 理解 为 问题 


minf (a), (7.1.52) 
1 TE 
Žž na 一 二 一 一 所 十 ce (7.1.53: 


的 一 种 近似 ， 而 (7.1.82) 5 (7.1.53) 与 不 等 式 约 东 优化 问题 
(1.1.1) (1.1.3) (me=0) 的 差别 在 于 可 行 域 的 边界 是 否 为 可 
行 点 . 当 算 法 终止 得 到 的 点 mus 十 分 靠近 边界 时 ,3 m Los raa) 
将 会 非常 上 大， 从 而 (7.1.49) 的 可 行 域 将 靠近 原 问题 的 可 行 域 
(7.1.43). ERITI mrz 取 为 问题 的 近似 解 . 当 算法 终止 点 


Peas 不 草 近 边界 时 , 这 时 ， ADR 8 充分 小 , WIAA PFA RK. M 
而 在 musa 所 附近 《7 .4.46) 的 目标 函数 (即便 数 罚 函 数 ) 将 与 fx) 


168 fo te H (#¥L® 
十 分 靠近 ， 于 是 我 们 可 把 o 近似 地 看 成 了 C4) 的 局 部 极 小 点 . 更 
733896218, $e] EX TEA, 

i387Y.1.90 设 算 法 了 7.1.7 产生 的 点 列 非 有 限 终止 ， 则 此 有 


a=, 


lim d i 0, (7.1.54) 
Eee Oy ial Cyl Prl) 

R 
limf (ea) = inf fír}, (7.1.55) 


Elntif?} 
其 中 int(X) — {x els) 70, j-i,- mp, fob Re @" 都 
Fe: [FR CT.1.1) ~ (1.3.8) (m, = 00 f] fi. 
证 明 WHI n0. 存在 风量 m, C int( X ), 18 15 


jv) inf fiv) 0,2, (0.1.56) 
由 于 cx 一 十 ce. tU D EPTE b, 24 = 1 bok 时， 
ope wl (7.1.57) 
7) (=i CI By} ~ 
FTE, “hk M.A 
Mm ee Gs) + I (aya) 
FE i= imi Ci Tp 1) 7 ivy t=] a PH 
= int f (m) T n- fous 
N, (7.1.58) 


ET »0B)£xxTES FRA Al C7 .1-b4) AR Ak aE 
7.1.47) FAB IL CT 1.54) A 6 = 0. 

Ho o,->0, EH dua AY KE ML CZ. 1.56) ay ^g] 
1 


F (241) = inf f() TY > + 一 o. £u D ay (7.1.59) 
or ELS kek, B]. 
fme inf f (2) +7, (7.1.60) 


出 ”之 0 AEE DAT 1.55) ACT LBD AD iE fay} 的 性 
19] 38 Aa Bb ee EBC) ~ 1.1.3) 8 füf. E 
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At FT ea, RIE 


1 1H 1 
Vf (tesa) 一 Go 之 TCR Veil tuys), (7.1.61) 


所 以 ; eWay Lagrange WTH 


1 
Af I. 00 ————. 7.1.62 
‘ Ox DAC MES ( ) 


显然 有 
APD SO, (7.1.63) 
B.C 1.54) np A 
APP oC a4). (7.1.64) 
EPER A TR CD] be ee, BA) gun] 44r 3er SS Gy SS RES SB ey 
RIRE YS A B aR, 3E RT ur BA ey a a TE $53 HC. 
1d BR SCIES INE ae BEOR a: 
| Zu — ao OCT/ 03), (7.1.65) 
BI ZEE ERAH BD Be F Rre" i.d io B—-PRA R 
Fletcher, 1987), fT H(7.1.69) 是 不 能 改进 的 ， MEZIS PI 
pit. 


67.1.10 
min ¢-+4, (7.1.66) 
£t.u2 6€ R* 
g, t.u — 12^ — 0, (7.1.67) 
hn SR RAT] FA te E EIE p 
miní-duw-rce[u—12]* (7.1.68) 
求 得 ata), y Fi 
-5 9 
— = a 1 
sle) 1 1 y 1 (7.1.69) 
4 2c 2 


Step at=(—, LY gue 1.66) (7 1.60 n — ja. 


rH (7.1.69) BB Ag (7.1.60) ANY ER XE. "Pd. REEM m. 
ERAH 8, MERK 
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Gy — O(1/s). (7.1.70) 
ETEO TES POR MA iia RAR TAT. 从 
Ti] BERET a B, ER LLA E. 


$7.2 FT Tl we 


BAT SRR RRM AT T AAA, Aa ORT HR 
AeA OR EHAS i. ET AAA A aE fel Lagrange 3€ 
d» 从 而 不 需要 无 穷 大 的 罚 因 子 . 

AY SUB BS, RNS BSA RAB 

min f (2) (7.2.1) 


S, t.e; (m) —0, j=l, ---, m, (7.2.2) 
我 们 记 elm) =(e1(@), +, 08 (2227; Ae) = [Vele], Y c^ ial 
RAT .2.1)45 (0.2.2) BI P, H A" EHME Lagrange RT. A 
Kubn-Tucker HA cz" p E: Lagrange pi Xr 

Ela, M) =f (ae) — CA") Pew) (7.2.3) 
的 稳定 点 ， 但 一 般 说 来 , 并 不 是 Lagrange 函数 (7 2.3) Reh 
Fay 故我 们 考虑 


Pla, M, o)= Lia, M)+eole@)[, (7.2.4) 
HY F ole") = í), 不 玲 发 现 
V.P, AY, og)=0, (7.2.5) 


Vv? Pa, A, a) =V] Le", MAM) oA Ae")? (7.2.6) 
iik ot b BRA RAE. IAA Atd =—0 的 非 零 


a, YA 
GTV2 L(s*, Ad >o , (7.2.7) 
在 二 阶 充分 条 件 的 假定 下 ; 我 们 可 证 必 存 在 ct 使 得 当 oo. 了 对， 
Vebs, A -reÀA(t)A(rT (7.2.8) 


是 正定 阵 . CDOÓEXUDOTOEAROKByo (RE coL), œ dE GE 
(7.2.4) Bg D^ ix. CT RUNS CHER ROB. AS MAET A 代替， 
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AA Ti #3 Fl Hay” Caugmented) Lagrange T R 3 

P(z, M e)-f(m)- Me(a)--3pele(a)Mi, (7.2.8) 
这 个 罚 函 数 最 早 是 由 Henstenes(1969) 导 出 的 


"MI" Lagrange 函数 (7.2.9) 的 一 种 等 价 形 式 是 由 Powell 
(1969) 独立 提出 的 . Powell(1969) 的 思想 非常 简单 ， 考虑 简单 


yip 
P(z, e) ef (2) + 3-oleCo) li (7.2.10) 
BOR V.P(s, o) - 0, 则 得 到 
Vf (2) +e > alr Vale) — 0, (7.2.11) 


由 于 我 们 要 求 e(c)70, cé, (e) — XM, 起 必然 导致 ec 一 十 ce， 于 是 
Powell (1969 } # th MT e;(o) dt 11 V £8, 即 用 e;(02 — 0; 代替 oa), 
0, eB, 这 种 平移 的 好 处 是 不 破坏 Yale) BF m. H JE. 
Powell (1969) 43 2] F] prj c 


Pla, 0, @)=f(a)+FoBole)-8)%, (7.2.12) 
如 时 我 们 定义 一 8， 则 四 (7.2.13) 和 和 (7.2.9 只 相差 与 z 元 关 
的 项 豆 oS OF 正 由 于 这 种 等 价 性 ， 罚 函数 (7.2.9) 也 称 为 
Henstenesa-Powell fi] AH. 


对 于 一 般 钓 更 规划 ， Rockafellar(i973) (7.2.0 WEE" Bl op 
FTAA: 


Pis, X, e) - f (2) - Sue (2) — 3 olele) 


_ | Ages Ce) — Falala) )^ ME o(a)<A/oy 
- > 


3 M/e, zn. 


(7.2.13) 
E SX DO Rockatellar 考虑 的 是 特殊 稍 形 mQ—0 以 及 oe, 
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(7.2.13) 8h ee PAR OE — +S x Jo XS D. 
P(x, 6, o) =f (2) +5 S ote) - 60* 


^m o (e (2) — 0), (7.2.14) 
十 式 是 由 Fletcher (1975) SiN, È BAET RCT .2 12D B E 
接 推广 . 
BERD E MU Lo), 求 得 
minP(z, A09, gXy (7.2.15) 


AYA m, Hop (7.2.15) | m E iR ET (7.2.13). $241 


Vf (24) 一 之 Lag?’ — of" e(2,3] Ve (an) 


+ 之 max {7A —ae,(a,), OF Ve we), (7.2.16) 
=, 


于 是 , 我 们 可 了 到 
Ne TP = AP a Peal), $—1, * m, (7.2.17) 
ATE = maX {A P — oj al, 0), =m, tl, «+, m, 


(7.2.18) 
A FREER Lagrange TF. 基于 增 广 Lagrange 图 数 的 罚 函 
数 方法 可 写成 下 面 形式 ， 
算法 了 .2.1 
步 1 BRN e 并 给 出 AU oP >, H 
0 人 ET 6290, piel, 
272. SR (7.2.15), 给 出 ay: 
Typi i = Ly: 


WR (Cans) |e, 则 停 ; 
步 3 如 果 qoa lo eee) Nay WHE 4 


o®: = 106), &k3b 2. 
FA H(7.2.17) ~ (7.2.18), 计算 AH, 
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Gs ag”), ki ktl, FEF 2. 
在 上 面 算法 中 , cC» EE (714A) EY. 
由 算法 7.2.1 COE, 不 难 建 立 以 下 定理 ， 
E38 7.9.2 RMR LL SAR, MET 
a>), 算法 7.2.1 必 有 mE. 
证 明 假定 算法 7.2.1 不 有 限 终止, WEE E, 使 得 
ie CoC) dao 16 Gg) ha. (7.2.19) 
其 中 o( 6) FE 
minP(s, AP, ĉj) (7.2.20) 
的 极 小 点 ,$1(j 一 1，2, …) 是 一 趋 于 正 无 穷 的 数列 。 由 于 o(64) 是 
(7.2.20) 的 解 , BO 
FED- ŽP- (GN leslo(Os) 1° | 


T 


+ Es daea- Gs - 1] 


fir) (7.2.21) 
Ep s4.1.1»-—(1.1.8)89f£— TFA. FS] 7.1.1 eu, 
我 们 可 证 对 充分 大 的 j A 
f (2G) =f æl). (7.2.22) 
于 是 在 (7.2.21) 中 令 p> +00, 即 得 到 
lels ) 120, (7.2.23) 


X RR ARESEGRDSORHIBIIRibdaHcPEE. 所 以 定理 成 立 ， — d 

定理 了 .3.8 设 间 题 (1.1.10 (1.1.8) 有 可 行 点 ， 则 算法 
7.2.1 j^ gy JR v HT] FEE A oO” dde nA. NUR A 有 界 ， 
Bü) ot d ARI EL CL. 1.1) (1.1.3) f] 82. 

证 明 从 定理 7.2.2 的 证 明 可 知 必 必 是 可 行 点 .假定 A 对 
— Jl & — SUB A, ACT.2.21) 3X BERI 

f(a") fs). (7.2.24) 

AP os Up GRE. BD o* (1.1.1) (1.1.30 pf. " 

FHS RAR 7.2.19 WE. AT RRR, AR IB 
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MASA R. 我 们 假定 ee", H Alr) = Ve(o")* 是 列 满 秩 ， 
不 失 一 般 性 , 可 假定 所 有 的 二 (zw) 一 Yetwr)” 都 是 列 满 秩 的 ， 于 是 
EPEA” ATA 


A (mui) AC Eugi) = 9 Tupi) (7.2.25) 
se AY ACen) Ena SA, HEF gi) 一 VY 了 (zw)。， 考虑 函数 
Ata) = LA(e)] * gio), (7.2.26) 
不 难 求 得 
[VA(2)7]T = [4Co) ] Tel), (7.2.21) 
其 中 
| wa) = V*f (2) — 32) LV *e (2). (1.2.38) 
由 算法 知 
AU, i1) + Dio (ten) =A ae), (7.2.39) 
其 中 
gi? Ü 
| m | (7.2.30) 
0 gu. 
于 是 , 我 们 有 
[D 4 (0)? E A (a* ) nm) (opa — m") 
zi A at) w(a*) (ay —a*), (7.2.31) 


从 而 可 知 , BRIE co 一 十 co, 算法 7.2.1 产生 的 点 列 一 般 是 线性 收 


AY. 


增 广 Lagrange me (7.2.13) Pita. EREKE 
续 可 微 函 数 , 所 以 在 求解 (7.2.15) 时 , 有 可 能 在 数值 上 上 有 困难 . 

Fletcher(1973) 3$ Ho] T- Sp 3 Z5 98 fe 8 ER] SIS — 71 2G R TH 98 10 
Hr (amooth exaet penalty function) 4 


P(e, 0) =f (a) —M(2)Te(a) + el) Dola). (7.2.32) 


其 中 
ACam? = (AC@)) gCo) (7.2.33) 


87.3] te 7] gn Gm LTS 


Fa Ü 
D= 2 | (7.2.34) 
Q Ton 


显然 ， 设 四 是 等 式 约 束 问题 (7 .2.1) 寺 (7 2.2, H. AGO) v 
Wi ER. 我 们 有 
val (a^, o)—gla*) — AltA) 0, (7.2.85) 
Vi (at, a) -— wa O HAGOD AT, (7.2.90) 
其 中 
wa Vi ba, Am». (7.2.37) 
5 (6.2.8) BW, FEO MRSS TP, FRAP ^I REG AEE 
0>0， 使 得 当 oo 时 ,和 矩阵 人.2.36) 为 正定 阵 ， 于 是 我 们 可 知 
Mb oic B, a* 也 是 (7.2.,33) 的 严格 航 小 点 ， 在 (7.2.32) 中 令 所 
有 的 c, FASE, 则 得 到 简单 形式 的 Fletcher JPE TE 982] A E. 


Pla, c) e f(2) -Ma)fe(z) olet) (7.2.38) 


FF 7.2.38) TJ NES IHE Be, BBE or 充分 大 时 ,求解 47 2.33) 
B] 3x o B T eC) =0 Bl A x d Zi SX MEE [8] ER (7.2.1) 与 
(0.2.2090 NR 
TBAT PEC. 2.32) 的 优点 是 它 光 请, BUS EAE DTG, iX 
样 元 约束 优化 问题 
min P(z, g ) (7.2.30) 


FAY SR 18977 EIE) COE BE wp UL TB th Chu SELF RA). T TIRE EGG 
11 E SU I BE FET JG RO 大 使 求 司 函数 极 小 很 困难 ; 增 广 
Lagrange 次 数 的 罚 隔 数 广 法 也 可 能 使 求解 (7 .3.18) 有 困难 , 这 是 
由 于 (7.2.13) 的 二 阶 导 数 有 间 世 点 ， 关 函数 (7 .2.833) 前 一 个 美 中 
AERIENE A VP oH TERETE VAG) CT .2.27) 
与 47 .2.28) np 4L, RN Te EV Ce) Ao (2) (6— 1. ++, m), 
这 样 , TR ATT EARTH RAR (0.2.39) B], 必须 计算 VF Cm), 
Vale) G=, e. m) MMB RER Pho). Va@ G=1, e, 
也) 可 计算 ,而且 局 算法 的 计算 量 非常 灰 ， 
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JENI R GATT eg SCA E T SE Eg 0 RR Eth 

EB, 而 县 在 不 少 约 东 优化 的 计算 方法 中 , 有 直接 应 用 .关于 光滑 精 

Be Tg oh Be AS Ae By AL Berisekas(1980, 1982a, b). Boggs AI 

Tolle(19081), Di Pillo 和 Grippo(i979) ME Han M Mangasa- 
rian (1983) 4, 


$7.9. JEW TRES TT LEX 


X fL WA Ti ER WE E En EO 
Pla, o)= f(e) e| So (2), S jala- (7.8.1) 


(7.8.1) 最 初 是 由 Zangwill(1967b) HAIN, "CUL f A D GR E 
(0 1.20 IZ II 2c lb P. 将 约束 违反 度 药 平方 换 成 绝对 值 ， 利 用 
ja (7.1.4), 可 将 (7.3.1) 写 成 

Pla, 0) -f (2) odo) hs. (7.3.3) 
WE a*dEO.1.1)4(1.1.3)89j Kuhn-Tucker K, mB o> latte, 
则 可 证 


fo") +d? 7 F(a") +o| 3) e;(z* +a? ele") | 
+ | (e,( a") +d? ve m Y || P (a*, c) (7.38.3) 


对 一 切 充分 小 的 了 都 成 立 , 所 以 a* JR (7.3.2) 86 — Ves jn 
果 二 吸 充 分 条 件 满足 , 则 有 以 下 定理 

定理 了 7.38.I Bat B.I. DALDA BMA, AtGE 
相应 的 Lagrange RF. 如 时 二 阶 充分 条 件 满足 ， 且 o> 和 “1 
则 ?是 (7.3.8) 的 局 部 严格 极 小 点 ， 

证 明 ”出 于 二 阶 充分 条 件 满足 ， 类 似 (7.2.8) 我 们 可 证 存在 
os, WTS e" REB 

L(a, X) + ojele) (7.8.4) 


HISP MRR. HF o> fat. RCo] 0, FE 570, 使 


§ 7.3] AE2EEUTB Ge TU EE Re Li? 
得 jz 一 对 [< 时 ,有 
Thelo — ATI (7.3.5) 
从 而 , feao" BY, 有 
Pla, o) =f (a) lA hele) lat (o — 12710 fe ha 
2 Lx, M)+orle(a) fihece) la 
>Le, M)- 3 ojele) l 
> L(a*, A = Pie, o), (7.3.6) 
Br ELE RB A EL. ^ 
BRL ABER eA, MR fe TAA UL 46 BEI. 
min P(z, cg), (7.3.7) 
RE T L.1.1) (1.1.25), (Raa ae, MAAT.. LT 
AT PRM, 而 且 在 一 般 情 沉 下 ， 解 e 是 不 可 微 的 ， 从 而 一 夏收 
AEREA SS Ty EE BE EE BUB PEO ACT .8.7)。 
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线性 约束 规划 


出 一 次 规划 稍 复杂 的 一 类 约束 饶 化 问题 是 线性 约束 优化 问 
Ri, 即 在 线性 约束 下 求解 一 般 的 非 线 性 函数 的 极 小 全 ; 


min f(s), (8.0.1) 
ze RK” 

S.T. 2— by, à —1, tty Has (8.0.2) 
a; pæ ba = metl, oon, (8.0.3) 


RP Fo R^ ERIR AS. MORARA ER EAR 
优化 回 题 中 ， 有 一 些 约束 可 写成 (6.0.4) 或 (6.0.5) 的 形式 .出 于 
线性 约束 规划 问题 的 约束 条 忻 和 三 次 规划 的 约束 条 性 具有 同 标的 
形式 ， 让 以 处 理 线 性 约束 规划 的 约束 的 方法 和 处 理 - 一 次 规划 的 约 
束 时 是 一 伞 的 ， 因 为 fix)— RR IEL UORÉEG 所 以 求解 .8.0.1) ~ 
(8.0.3) EE 8E — DCHL XI) E S] E, TE ELE IA REIP ez PR LÁ URL XIBJ 7T 
1 3B EE UH — X IR IE TE. 


88.1 等 式 约束 


等 式 钱 性 约束 规划 问题 是 指 m. —m 这 一 特殊 情形 下 的 线性 
25 :& 3 X [81 E (8.0.1) (8.0.3), "t RT ES ER, 


min f(z), (8.1.15 
rc RÀ 
9g.t.A z= b, (8.1.2) 


其 中 ACH *™, FOR" 176.2 582841 我 们 假定 秩 CA, =m, 
PRO 6.2497 i8 B9] 3535 RR A PES (8.1.1) 与 
(8.1.20, Bai Y CcRE"",ZcHE'"'"—"iügO,-n—mH 
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ATY=], AZ =O, (8.1.3) 
408.1. BS BEES AT A aA 
e=VYb+Ze, pE R”, (8.1.4) 
于 是 (8.1. 了 与 ‘(8.1.23) 等 价 于 无 约束 优化 问题 ， 
min f(Y 8-- Za). (8.1.5) 
定义 FEY Za) BAN Fe EC. IID)BMPEGET ME 设 
4 4 BIER, ty 则 线 搜 索 方 向 为 
d= — 7 Flay) = — ZT VF (ay), (8.1.6) 
其 中 ay Y b-- Ze, HAHA KK à. 
F Cay -+ dada) =min f(£,-- ady) (8.4.7) 
然后 令 Ere By t+ Oud y, fe X. 
d= Zdy= —-ZZ° 3 flay), (8.1.8) 
Vau. 名 也 是 问题 
min f (2x3 adi) (8.1.0) 
的 解 , 所 以 nua = Yb tZ try 满足 
Ta = Dy t Ou, '8.1.10) 
其 中 a, =a, HE (8.1.9) 的 解 . 从 而 我 们 得 到 了 一 个 基于 (8.1.5) 
Jie E FREM TF, 
Bit 8.1.1 


Pi Ah oc 满足 (8.1.20, BAZ, He A Z=-0 BK 
(Z)=n-—mk=1, 60, 
步 9 HH (8.1.8): Am Hd | es 则 停 ， 
HS 求解 08.14.9), 得 到 az 
Digi = Vg + On, ki 
Al = E+, REP 2, 
山 于 算法 8.1.1 实质 上 就 是 min f(z) 的 最 如下 降 法 ， 从 定理 
3.1.2 npn. WME (mx) 不 趋 于 一 cc, 则 必 有 
lim |Z" v fax) | ~ 0. (8.1.11) 
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于 是 对 {wx} 的 任何 紊 点 w^, 均 有 


Z* 9 F(a") =0, (8.1. 12) 
Fl FR (8.1.12). (8.1.3) DLE PX CD =mi EFE MER", {19 
vin) = Aix, (8.1.13) 


所 以 算法 8.1i4.1 产生 点 列 的 插 何 率 点 都 是 问题 (8,1.1) 与 (8.1.2) 
的 Kuhn-Tucker Ñ, 

由 Z ae Ma, 27 EM R a A? 的 零 空 间 NullCA?) 的 
一 个 呐 照 ， 所 以 我 们 乏 Z VP Co) 是 了 tw) BY 56 £5 45 OA (reduced 
gradient), MiB PRA 8.1.1 Jy EE 29 X SE TF RR, 

MA 6.2 THIER A, 2 AERAR RBS. iut 
eZ (6.2.29) 26h, 风 有 

ZZ =I- QQ =I- AAt, (8.1.14) 
其 中 At=( AA) 47 BAR RM, 在 这 种 特殊 情况 下 
(27) = 22", & ZZ? 为 一 投影 算 T (projection operator), 这 
M 
d, —(I— AA*Y 7 f (my), (8.1.15) 
SHE 8.1.1 就 是 Rosen(19800 Bt bj Bp Be HE 359 B5: (gradient 
projection method), (f[-—A At) 7 f(a) HEN 3 BA (projeo- 
led gradient). 

MRAR f (>) Bg — Wr SEC RETE OE. 则 利用 公式 

TIF = ZTF f(a) Z (8.1.16) 
求 出 7(2) 的 二 阶 导数 . 从 而 可 利用 牛顿 法 求解 无 约束 优化 问题 
(8.1.5), 由 于 和 矩阵 8.1.6) 不 一 定 是 正定 的 ， 故 我 们 求解 带 信 粹 


BARREA. 
min gd + 2°74 f(a,)Za, (8.1.17) 


FACIET (8.1.18) 


其 中 A,>O 是 第 次 兴 民 的 信 带 域 半径 ，# 是 在 cv REIS Bc BR 
HE. 


f»—9(m) =Z" glen = ZEV fle). (8.1.19) 
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TREO RI i M a R TS Fr FR T.: 
y+ 8.1.2 
1 Bie WE (8.1.2) HSH ZAE AT'Z—-0. HE 
(4)=n—m, rli 4,70, 820, £:—1, 
$2 计算 sg. «e, WE; Re (8.1.17) 5 (8.1.18) 
得 到 dy, dy 一 和 di 


步 3 计算 
rm) ds 
wa e 
y+ dy, jn 2R Ty 770, 
cuim zl. (8.1.21) 
Sidh 如 果 mm<0.25; 
Ave‘ o4 —— d > O.75 H A= Idol; 68-41-72”? 


EB kt HAT, eH a, 

算法 8.1.2 ERZE 10 58 10.8 节 中 讨论 的 算法 
10.3.1 的 特殊 情形 . FERA AGB RE AF, Wl BRA 
— A Fe YS a" Og fa] (8.1.1) 5 (8.1.6 Kuhn-Tucker &, 4& 
E v. WORF c, EZ VG Z IESE, (8.1.20) 08 


ry—1. (8.1.23) 
WME, 使 得 小 = ds 对 一 切 52 都 成 立 。 于 是 对 所 有 充分 
大 的 如 有 
Tyra 4 — (ZTV?f (o) Z AZT Vf). (8.1.24) 
于 是 
lsr th =O lea, (8.1.25) 
由 于 er o's (eet), Z 为 列 满 秩 ， 我 们 从 (8,1.35) 可 证 
和 一 人 一 人 (8.1.26) 


所 以 算法 8.1.2 BIR ary. 
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如 果 不 计算 或 者 是 不 能 计算 二 踢 导 数 VO GD BS 一 种 办 法 
dé A RZA 
Z* [gx 十 多 六) — go) ] /^ (8.1.27) 
RRE EZ of (a4 的 第 2 列 , FP g FEZ 的 第 5 TL AO E 
KPE. APh k EHME SIE B. DEA Bu dV 
vifi). ASHE BFGS 修正 公式 : 


Brewsi Br . Valle 
Byii= By REESE} aes 8.1.28 
ee S Ba. Shite 


其 中 
Sy Bye ~ k (8.1.29) 
yy Vf (One) — Vf toy). (8.1.30) 
A eA (8.1.4), B,— ZT BLZ, 出 不 难 证 明 由 (8.1.28) 可 推出 
A ' “oF ^ oT 
B, = 8,- Briss Be ORE. . (8.1.31) 
81 By Sy S ifs 
其 中 
S= Tp ir (ATZA Sy (8.1.32) 
Pe = VF tuys) — V fx) =Z Yn. (8.1.83) 


TERNER LIEBE IE. vf MEM EEE Ve) 
Fee ony. 修正 By 的 好 处 是 B,C ROOK ™ sos; H, 
BE É KEE B. 计算 重要 小 得 多 ， 下 面 给 出 的 是 一 个 求解 
《8.I.1) 与 45.1.2) 的 掀 千 顿 法 : 
Biz 8 1.38 
Jl dida. (8.1.2, Ban Bee, 56h Z Wm 
ATZ -0BfE(Z)-n—m;szO, krel; 
步 3 计算 ge Z°VS (an); 
mE | Gel se, W 
A. de= — Big, 
dt = Zay. 
34S FAAS RATER a0; 


ay 一 Uy F Oe 
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$y = aids, 
He = 47 [Vf (maa) — Vf Cee); 
H (8.1.81) Biya; 
步 4 ki =k+1, H 2 
算法 8.1.3 实质 上 就 是 对 于 f(O REMI BFGS WH. 所 
以 由 第 四 章 的 结果 可 知 邵 果 fol ETE Ae | Ae —0} bE, 
别 有 
Him inf |Z? Vf (a) | =0, (8.1.34) 
AAT ox) TERA a^ GEG Z^ 7 FCo") = 0, Bl a* Yi E (5.1.1) 5 
(5.1.2) Kuhn-Tueker 点 . 
Ha (8.1.3), 故 由 


g' = Ar (5.1.35) 

Dp 
A = Yt, (8.1.36) 

ix 
Ax— Y gam) (8.1.37) 
gc“ Lagrange RTIII. MWR Y B(6.2.285)2 9. WA 
Ax — Ata (ay), (8.1.35) 


Take — 3€ min | AA — gos) | 的 最 小 范 数 解 . 


$8.2 积极 集 法 


£3 6.3 SS JI, BRAN RT UG RB SRR [REESE AR 解 
EAH IR] (8.0.1) ~ (8.0.3) 9 H RY. 
积极 集 法 是 一 个 可 行 点 方法 .其 基本 思想 是 . 如 果 om, 是 等 式 
约束 问题 
min fis) (8.2.1) 
ac=bh, SESNy (8.2.2) 
的 解 , 其 中 
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Sim EUI, (8.2.3) 

Hath, ag}, LoL {am t1, emh DARA By Lagrange 
FET Ax 满足 

(4)9,»0, oC Ty. (8.2.4) 


ay, HAEC SEX E OR OT] E (3.0.1) (8.0.32 的 Kuhn-Tucker 
A. MOS oy FEC 8.2.2) (8.2.2) ELE, 但 (8.2.4) 不 满足 , 我 们 可 
令 mE D. dti 

Qu), 7 min (An) 0， (8.2.5) 


HE S, S, ip fUSIEOSCKEECOMZ.1)5(8.2.2), WEHA 
XE AUR 4 不 是 (8.2.1) 与 (8.2.23) 的 稳定 点 ;我 们 可 求解 


min f (zy -- d) (8.2.6) 
dcH" 
s.l.a;d--0, $C Sy. (8.2.7) 


设 (3.3.6) 与 48.3. 信 的 解 为 dy, 显然 oy + dy Æ (8.2.1) 5j (8.2.2) 
RIRE U oeta, ERITA ME G xard, ARRERA. F 
则 , 假定 cu E FREA Hh BD 


dy gu-—.0, (8,2.8) 
FAT RITE du EET RR e, APSE oy 应 满足 
cy = min d (8.2.9) 


Ze yt on, 基 可 行 点 .值得 指出 的 是 : 由 于 县 ev os 的 限制 ， 
常规 的 组 搜索 条 人 忻 并 不 一 定 满足 . 例如 采用 非 精确 线 搜索 (2.5.8) 
13(2.5.9), PEF TRE (2.6.8) 5 (2.5.9) £e C [0, ay] LAH. 
这 时 我 们 了 Cig = Oy, 
SKIS, RATE RERU E Br EISE HER 
(8.0.25 55(8.0. 9) BJ —-T AFR o 作为 初始 值 , BS 
Si. (21), (8.2.10) 


其 中 a (o) LIM, 是 在 eb BUR SUA, 从 而 我 们 可 
i HDRARCS. 0.1) 55 (8.0.2) [8 BUR AE TE, 算法 如 下 ， 
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算法 8.2.1 
21 ABAAA an, Sat = (ay); kiel; 
步 3 WFR Oy AR FEC S.2.1) (8.2.2) HR, 则 转 步 出 
步 3 如 果 (8.2.4) 满 足 , 则 停 ， 
RH 4s Hg AE (8.2.5), 
yi = SV Iu 
步 4 解 (8.2.6) 与 (8.2.7) 给 出 du 
BS MPRA RH o0 目 满足 (8.2.9) 
2 L3 = yt oiu s, 
XJ je S, TE. 
ut m Quy 1T By, B Sj: = Sy U {7}; 
Jp6 Spim Bo A+ 1, 转 步 2 
算法 8.2.1 8 BK ie 8.2.6)55(8.2.7), i 8.1 Way E 
(8.2.6) 与 (8.2.7) 和 需要 计算 Zu, 在 不 同 的 近代 中 S 不 一 样 ， 从 
Te FX A= [a] CESO 的 不 一 样 ， 故 每 次 渤 代 要 重新 计算 Zr, 
由 于 在 一 般 情况 下 Sy See 只 有 一 个 元 素 的 差别 ， 我 们 可 利用 
Zw 来 求 得 Zwry 同样 也 可 利用 已 有 的 近似 海 色 阵 或 者 近似 婚约 海 
色 阵 来 计算 新 的 近似 海 色 阵 或 近似 县 约 海 色 阵 , 


Spr1= Sul iri. (8.2.11) 
我 们 有 Ly 使 得 A SZ, - 0, Ik CZ) = fh (Sal TER XE dU 
Bes ZEG (tyes) Zn. (8.2.12) 


我 们 利用 A HA AIRS) n—|S,|—-1 PABA oy TER, HR 
是 说 , 令 工 为 一 非 奇 异 阵 , 使 得 
Zeit — [Za u]. (8.2.13) 
Z T1850. (8.2.14) 
显然 Sy 满足 Aba Ze =0, Tk (Ern) 三 nh 一 [Sea]. RIK Ê, 
B= ZB Zp, (8.2.15) 
Ji] Ha (8.2.13) wA 
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T-T T-1= {Zp u] Bpl Zya u] 


Birra Apni 
-| BZ uei ut Bytt | (8.2.16) 
于 是 我 们 可 取 Bua wT BT f A a [Syl Tn 
(Sel FI, 
iB A, =Bo, EE mx n 矩阵 
H,- Z.É,ZT, (8.2.17) 


AR ZiZi-I, WA 
ZH y Ly (Zi Bi). (8.2.18) 
Ae Hrs 理解 为 B; HEE AL 的 零 空 间 上 的 投影 ， 有 的 算法 利 
用 五 : RARE (8.2.1) 159 (8..2..25 Cl Goldfarb, 1969}， 我 们 可 利用 
i 计算 Hy, 
H pa = Zerina 


I... oze 
= [Za 可 7^ i 加 


O |o 
oF Zy 


Pit © 
= ZO I ie Y 0 i T-T F, 


-一 TFF 
mu FH papa, Hy 


"m (8.2.19) 


上 式 芍 推导 依赖 于 下 面 汐 引 理 ， 

3 引 理 8.2.2 设 对 称 矩 阵 Hc Ree 以 及 它 的 ww 阶 主 于 
XX fbr H 35 HJ, 则 有 

I, 0 I, OVXI* -I T -i 

I JEN 9) Ho ERIS (8.2.20) 
证 明 从 略 

Res BAT AREA, 在 这 情况 下 ; 我 们 可 令 

Zuii= [Zn zx]. (8.2,21) 


g £.2] 34 d 7 tE E87 
其 中 
zp = | el. (8.2.22) 
toy, EMA A RARE. TE 
[Zu zx» BLA, Zal 
B,  ZIB, 
"m ZI B4. | 
由 于 设 有 ZEB, 及 ziByy dd] 8 EAR HEX 


B, 0 
Bros) || (8.2.24) 
对 于 需要 计算 Hs WHY: RAER 

Haus ro 


—Z,H, AI -| wp 


(8.2.23) 


= Hy- + fati (8.2.25) 


和 二 次 规划 的 积极 集 法 类 似 , 这 里 也 有 可 能 出 现 退 化 前 情况 ， 
Yu HL AbISByZpiR4uA D. 了 所 以 就 不 进一步 介绍 了 ， 

与 二 次 规划 的 积极 集 法 不 一 样 的 地 方 是 间 题 (8.2.1) 与 
(8.2.2) 不 像 间 题 (6.3.1) 与 (6.3 2) 那样 可 经 过 有 限 次 计算 求解 
所 以 在 实用 的 算法 中 ， 步 二 的 求解 (8.2.60. (8.2.7) py E HLGK 
(8.2.6^. 8.3. 六 的 近似 解 在 步 2 中 判断 ms RA (8.2.1). 
(8.2 .3 的 解 应 换 为 判断 oy FRG (8.2.1), (8.2.8) Bm DL. 

但 由 于 接受 43.2.1).(8.2.23) 近 似 解 , PLE RPE HT GE HY ER T 
《zigzagging) 现 象 ， 且 收敛 于 非 稳定 点 的 点 ， THM A 
“FAY HL Wolfetl973)， 死 服 锯齿 现象 的 方法 之 一 基 和 用 在 当前 选 
代 点 ay 处 函数 可 能 下 降 的 佑 计 式 : 


pu— 5 gts EZ Tn, (8.2.26) 


其 中 =y., b RUMAH. BE. WR 
是 最 后 -- 次 删 去 一 个 约束 的 闪 代 下 标 ， 如 果 
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py f Um) —f (ae). (8.2.27) 


我 们 即 可 把 mx 当 作 一 个 近似 解 ,至 于 近似 求解 (3.3.6) 与 (8.2.7)， 
RNA 


min gid-r 5 d" Z, B.Z? (8.2.28) 
Ald =0 (8.2.29) 

HARES .2.6) 55 (8.2.27), RANK 
dy— — Zs HZTgs (8.2.30) 


EA (8.2.6) 3 (8.2. PERAL. 于 是 算法 8.2.1: 的 修正 算法 可 
ELBATT. 
WoE8.2.8 修正 积极 集 法 ) 
2p 1 绽 出 可 行 点 T1) S= s (x4), BH, IE XE; 8^0, ki 1; 
k' =I. 
步 3 (8.2.26) TL Pr 
如 果 ouf (me) — f Go); 则 转 步 4, 
RRA Aw SIR CS.2.4) 7 IB IB. 出 转 步 3 
WF osse, WF, 
HO d; 
eS ORD & IEG.2.5), 
BS is 
B's = fs 
Jb 4 5R (8.2.28) 5 (8.2.29) 2& H dy 
pb 进行 线 搜 索 求 出 o0, 县 满足 (8.2.9)， 
Duti Wy + od 
利用 拟 牛 顿 公 式 计算 Bu 
Xj j« 5 FF 
WE az = b WI Sue S,UID) 
步 6 Srt =Sam 计算 Za 
ki= hti, $26 2. 
在 算法 的 步 2 中， 可 能 在 ws 并 不 是 (8.2.6) 45 (8.2.7) i 
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Kuhn-Tucker 点 时 需要 计算 乘 子 ju， 这 时 ,我 们 可 取 M 为 下 面 
问题 
min | Ap,A— frla (8.2.31) 

hj ae. E Fletcher(1981) 的 定理 11.3.1 40, Xp TEE 8.2.3 
A RF We HE ae L, 

定理 8.2.& PM (8.0.1) (8.0.3) 的 可 行 点 集合 非 空 ， 
Fo 在 可 行 域 上 是 一 致 凸 函 数 ， 如 果 Êr EEH Ery 
iJ, WH A, 对 一 切 石 均 是 列 满 秩 ， 则 对 任何 可 行 点 四 ， 算 法 
8.2.3 产生 的 点 列 必 收 伍 于 问题 (8.0.1) 一 (8.0.83) 的 唯一 的 解 
x*， 如 果 严 格 互 补 条 忻 在 2" 满足, 则 对 一 切 充分 大 的 名 均 有 S. 
wf (cot), 从 而 不 可 能 出 现 锯 其 现象. 

此 定理 的 证 明和 Fletoher(1981) 的 定理 11.3.1 的 证 明 几 乎 


$8.3 投影 梯度 法 


本 节 介 绍 一 个 由 Calamai 和 Moré(1087) 给 出 的 解 线性 约束 
BARE MEE. PEI aw X. 
X = {g| als= b, tC E; derb ELY, (8.3.1) 
HEXER P OU 
P(a)—argmini[z-—-z|, ZEX}. (8,3.2) 
其 中 argmin EJ f£— zc X fF -el ADRS, |] 是 一 内 积 
范 数 ， 为 了 简单 起 匈 , 我 们 假定 1d BK ER Ne la, 
投影 梯度 法 包 是 一 个 隔行 点 方法 设 当 前 选 代 顾 为 CX, 
投影 梯度 法 进行 折线 搜索 , RIGK 0470, 使 得 
f Eul Ap) ) &f (Eu) 十 Ha 人 ay — 9x) Vf (m), — (8.3.3) 
Oy ys 或 者 aya > 0, (8.3.4) 
其 中 a, >0 满足 
fGn (m2) f Gm) + a(n} ax)  Vf(m). (8.3.5) 
yi: Ys: fla, Ha 是 正常 数 ， H Ha, a€ (0, 1). ary (o) OF 21 ER: 
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ax (o) = P (su aV f (ay) ), (8.2.6) 

Calamai 和 Moré 药方 法 可 写成 如 下 形式 ; 
算法 8.3.1 
#1 BABAR Ga. BL, 1), yo 0, wsi, ki—1; 
Jp 2 oe;:—maxidey a yh 
Jp 8 duR.2.3)2 34 A. 则 转 步 4 

(Vt = 0/4, 

48 2b 3, 
HA tug = Oy Com); 

转 步 a. 
GA, FOR o WE (8.3.3)~(8.3.5), WERNE 


Ma Mg: Y= ye ys. 
出 于 P) BpESX, HER 2c R^ dB 


(z— P(sz))'(z—P(z))X0, Vee X, (8.3.7) 
于 是 在 i8.3.6) 中 令 ea, — ew f (on), E= Ey 
(zy — Oy V f Con) — Sana)? (Eu 241) KO, (8.8.3) 
Tq E Wy (8.3.3) (8.3.8) nf m 
f (2) -F (usa) > is Janale (8.3.9) 
T ACH DT ER. 


引 理 8.3.2. fle) fen TX LAMA eX 上 直方 
495€. WE v Den Tm E—30k5, DA 8.3.1 产生 的 
AJ iss 必 有 


lim 252—981 o, (8.8.10) 
证 明 ”假定 引 理 不 真 ; JS dpXE— AATA Ko dis 
Meet t. g, VRE Ko. (8.3.11) 


其 中 S>0 是 一 个 与 总 无 关 的 常数， 由 (3.3.9) 和 (8.3.11 可 希 对 
有 所 有 kE By 都 有 
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f Gn) — f net) i Ma | 于 一 | 228? m0. (8.3.12) 
因为 f Ce) FE RT TTL La A B 


M [A (ay) — f (ayes) 1 < tee, (8.3.18) 
$8(8.3.19)30/8.3.13) EA 


we [esti exl = lim t 0 (8.8.14) 
BEDS FEA KA EC Ko; (8.8.4) 的 第 一 个 条 件 不 满足 , EUH 
OKEE Y ayy: (8.3.15) 
A(8.3.8) AR. WE ox 所 ows H T oH 
pla) c LEG ad) wal | a> (8.3.16) 


是 单调 非 增 的 [ 见 Gafni 和 Bertsekas(1984) e Calamai 和 Moré 
(1987) ], 我 们 有 
[on — a Ca) | = | Ty — Bpl Cig) | (8.3.17) 
7 Os Gy 
Fy Di], oi 77 oy B os cuo) [2 | 2 — ax Co) |. HAE 


[er eC On) | — 1 | ay — auos) | 


2 " - (8.3.18) 
FHRE(S.3.5) PA may apf (ay), 2—a, 可 得 
— (zs (3g) — ay) VF Cg) Le 
C 
min i 元 jie 一 ma | (8.3.19) 


Sa Ra AI &COK. MM. 由 于 fee E-m, 我 
们 有 
f Cos) —f (a) = Cy (a4) — 24)" Vf (ax) -- oC] ag — es (ax) 1). 
(8.8.20) 
i 68.3,205 4$8(8. 3.50 HB Al 
— CAEI. — wp) “WF (atx) Kol lay — au o3) | J. (8.3 21) 
(8.3.21) EA (8.3.19) FG. WP USB. E 
oE 8.3.3 Ccx Fe M~8.0.1) ~ (8.0.35 的 Kuhn- 
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Tucker A 4 H. (UH FE ô >o, 使 得 
P(a'—avf(z*)) -—2* (5.3,22) 
对 一 切 «c [0, 51910 xr. 
证 明  (8.9.220 S BEF 
|a*—-SV f(a") —a* F< fo" vm cls (8.3.23) 
对 一 切 ee X Mim. HK BGM, (8.3.2) ST 
(e—a Tf e 220 (8.3.24) 
对 所 有 充分 靠近 zt 的 可 行 点 ww 者 成立， 因为 (一 中) VF (a dE 
a BIETEN BY, (3.3.24) 8$ fF 
(s-o Vf la" )S0, Yao X, (8.3.25) 
Bee (8.3.25) SH F a* 是 问题 (8.0.1) ~ (8.0.3) 的 Kuhn- 
Tucker Ñ, I 
利用 引 理 8.3.2 $05] 38 8.3.3 可 得 到 算法 (8.3.1) 的 收 伍 性 
结果 ， 
定理 外 .3.4 Rf) ENT RX 上 连续 可 微 , 则 算法 8.3.1 
产生 的 点 列 (ew) BITE M EUR o" 都 是 问题 48.0.1 ~ (8.0.3) 的 
Kuhn-Tucker 4. 


证 明 假定 定理 不 真 ， 则 有 有 {zx} 的 一 个 收 合 于 列 满足 


"Ane , (8.3.26) 
H 
P(s* —5Vf(aq*)) +2". (8.3.27) 


HP O>O, Ko EiL 2 小 的 一 个 子 集 ， 由 于 (18.3.26) 我 们 可 
假定 wyE SU CE. BRAS B-BARMR. AA VP oS 上 
— PES, 由 引 理 8.3.2 A] A 


lim | yet — 2:1 =0. 
be ra 0 


由 于 Vf Co) RHE S PEDE (8.8.26) 53(8.3.27) RNA 


lim DOSA - [Pr d (2*)) —«"] 0. (8.8.39) 


(8.3.28) 
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FA (8.8.16) 52 VB ob Co) RAAE, hH (8.3.28)30(8.3.29) 
RT et Bry eA AC EA 
ond, (8.3.30) 
EUR 
f Gn) S (Gua) 79 — m (V Can) ) (o (a) — m) 
z—puVfG) (n)- an) 
> us Jaco a. (8.3.81) 


(8.3.29) #1 (8.3.31) BI RT S] 
Him int Lf Cm) —f Crys) ] 770, 


oo 


(8.3.32) 
这 显然 与 lim f(2,) - f(a") BP TR. PER, 


88.4 信赖 域 法 


村 节 我 们 侍 电 一 个 利用 信箱 域 技术 的 可 行 点 方法 ， 在 第 天 次 
ERPE 徊 是 一 可 行 点 ， 我 们 求解 


min ghd+ 3 ALBrdy = px(d), (8.4.1) 
aid -—O0, $c E, (8.4.2) 

Gi Twi ob, ET, (8.4.3) 

ol dy, (8.4.4) 


其 中 A> 0 LAURER. FEAH, (8.4.1) e (8.4.4) — 
二 次 规划 问题 ， 可 用 第 六 章 的 方法 求解 ， 记 dig (8.4.1) ~ 
(8.4.4) 的 解 ， 下 次 移 代 点 eee 以 及 信 叉 域 半径 Aa 的 选取 依 粮 
Td 
pit: x X d; 

nm E (5.4.8) 
Hi dy GEM, BRE d,o-0 $ BAH oy HEIR IB (8.0.1) ~ 
(8.0.8)8] Kuhn-Tuoker 点 。 由 于 每 次 求解 子 问 题 把 所 有 的 的 


ipa ER fi ETR HE 2] [第 小 于 


东 都 考虑 到 了 ， 破 不 可 能 像 积 被 集 法 那样 出 现 馈 骨 (migzagging] 
现象 ， 下 面 给 出 的 信赖 域 法 是 假定 初始 点 mm 是 一 个 可 行 点 。 
算法 8.4.1 | 
步 1 3B 2 HE CS.0.9) (8.0.3), 
eA HE By, d 70, e=0, i=l, 
32 SR (S.4.1) (8.4.4) £301 da 
WE dale, BL ES; 
IT (8.4.5 
B (md. INS vy, 
Serr TT l Ux 否则 ; 
w3 dI r,2"0.25, 则 转 步 4 
dyi = 4/2, Boob 5. 
we 如果 n0. RA dad 则 转 步 S. 
di 322 
步 5 deti = Ae WARE Buss 
feos =h-+1, 2836 2, 
ERE 8.41, Bui TAMER AASH. PRB 
性 分 析 中 ,我们 假定 1Bc 一 弦 有 界 , 即 存在 常数 MO, 使 得 
| B,| <i, (8.4.7) 
i HBR8.£.9 yr f(a) ENT MLE, (8.4.7) aR, 
算法 5.4.1 产生 的 点 列 [ex AAA, Wee —^r 2E e 
问题 的 Kubn—-Tucker d. 
W BREEDE, FRAT BYE 


(8.4.6) 


WR (8.4.8) ^ n xo, 则 在 在 常数 8>0, 使 得 有 无 穷 多 个 六 使 
Ayo Fay 0.25, (8.4.0) 
iC PUER E (8.4.90 EE E HERA Ko 不 妨 设 
Hm m.m, (8.4.10) 


Meo 


Ap ELE, z p AECS.0.1) —(8,0.83) ff Kuhn-Tucker #, i d —0 
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不 是 


min g@) "d+ Mls, (8.4.11) 
aid —0, 4€ F; (8.4.12) 
ap (E+ d) zb, éC I, (8.4.13) 
jd] s mS (8.4.14) 

HIE, rd (8.4.11) (8.4.14) 8, 则 有 
gz) d+ 2M 1d (20, (8.4.15) 

=F EL HH (8.4.9) 5(8.4.10) ELI (8. 4.7) START 
Prd) -pelh > — d- 70 (8.4.16) 


对 所 有 充分 大 的 EE Ke HR FA (8.4.16) (8.4.9) 1 28 — 
TAERE A 


f (oy) -f lem) 2 — = 570 (8.4.17) 


SPATS KH FC K, BM, 由 于 lim f(a,) =f (2), (8.4.17) 
SSRI ATT SBA. a A Ae eA AMY A (S.4.8). 
如 果 (8.4.8) 成 立 , 刚 必 存 在 一 个 子 殉 Ku 使 得 
rQy« 0.25, VRE Ky, (8.4.18) 
不 妨 设 
Hm m= &, (8.4.19) 


B AREE, o 74.0.1) (8.0.2) fj Kuhn-Tucker 4, 4 d 3E 


问题 
. ^, T 1 vy 
lim g(z) d+ M |d s; (8.4.20) 
aid-—0, $C E, (8.4.21) 
aL (ce d)zeb,, $C I, (8.4.22) 
[d | md (8.4,23) 


的 解 , Wl) az 
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g(£)d-- 3 Midi - $0, (8.4.94) 
于 是 , 由 于 4d 是 问题 

min g(2)7d--- 了 jl (8.4.95) 
at=), $C E; (8.4.26) 
alet d) b, tcl, (8.4.27) 
ial 4 (8.4.28) 

的 可 行 点 ; 则 内 要 hal, 就 有 
9 (4)*d,-- MI 4. (8.4.39) 


xx t. d, EE ih] BT (8.4.95) ~ (8.4.28) B] me. RII (8.4.19) 和 
(8.4.25) ~ (8.4.99), B An 


gy (0) — pn (dy) 29 — = Ap (8.4.30) 
对 所 有 充分 大 的 EE 都 成 立 ， 由 于 fo) ETA LE, — 
致 有 界 , 我 们 有 
f(a) —f (ay dy) = ew(0) — uldn) -o(]d,[). — (8.4.21) 
M (8.4.30) AK8. 4.31) BEE 
Hm ry 1, (8.4,32) 


xx 5E AR (8.4.18)7P 78. 此 矛盾 说 明和 定理 为 真 ， M 
类 似 无 约束 优化 的 信赖 域 法 [ 见 Powell (1984 05], EAE 


(8.4.7) 换 成 
= 1 
> ir max iBT max iB. l = joo, (8.4.33) 
定理 8.4.3 仍 成 立 . 
RM Pe HEX EAS REA 
Vxf(e) = lim Pot] (2))-2. (3.4.34) 


不 难 证 明 , w* 是 问题 (8.0.1) ~ (8.0.3) fj Kuhn-Tuoker 424 E 
4X 2 
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Vx f(a") 一 0. (8.4.35) 
从 定理 8.4.2 MERTA, 只 要 3&(8.4.2) —- (8.4.4) A 
m. HE 


PCO) — pede) >5 17x f (on) [min d 4s : E: |, (8.4.36 


则 算法 8.4.1 仍然 有 收敛 性 结果 (定理 5.4.2). 


设 算法 3.4.1 PAE RA o^, T ELTE a" 处 一 阶 充 分 条 
忻 满足 , 则 只 要 


lim](B,— vif(s*))d,]/1d&] 一 ^ — (8.4.87) 
U) A 38 X TE IBC S 21 DR: 

: | Tea — 2" 

lim "deca 9 (8.4.38) 


信赖 域 法 的 一 个 优点 是 它 对 BB 无 枉 何 正定 假设 。 WME fie 

的 二 阶 导 数 容 易 计 算 . 我 们 可 了 到 
B= V"f (ax), (8.4.39) 

在 这 种 特殊 情况 下 ; 与 Fletoher(1980) EHE 25 £498.06 {EY fii I, 
法 类 似 , 如 果 算 法 8.4.1 LEIS AR P my Fo", FE z* AE Br 
D Be A PEN UE. 

Burke. Moré 和 Toraldo(1990) 4H T — ^X FH ERE AB 
AR fet £X pb ZEILE 8 AR e 73 1. 


& 8.5 «fH 极 - 集 法 


积极 集 的 后 点 是 它 根本 不 关卡 在 当前 近代 点 的 非 积 极 约束 
如 果 一 个 非 积极 集中 的 约束 在 当前 迭代 点 的 值 已 经 非常 小 ， 则 很 
可 能 会 使 这 次 迁 代 的 步 长 变 得 非常 小 ， 为 此 我 们 考虑 se- 积极 集 
法 。 。- 积 极 集 法 的 基本 思想 是 , 在 积极 人 乐 法 中 , 把 非 积极 集合 中 那 
些 约束 函数 值 已 经 “非常 小 "的 约束 看 作 积极 约束 . 

为 了 对 金东 函数 值 已 经 “非常 小 "有 精确 的 定义 ， 我 们 引入 o 
积极 集 概念 如 下 ， 


198 £x EE eu BLE [i UE 


EX 8.5.1 oL rFEgpRG (EI ERE CL 1.1) —. 1.1.3), SE 
cC E^ Fl 2250, 我 们 称 
s (s, a = EU IC, e) (8.5.1) 
Zie habi e R3 EM, Hep E — il, --, Met 
iis, 8)—iéle,(2)we, tc F={m,+1, +--+, mi, (8.5.2) 
我 们 称 e Gr) (6 uf Uo, 20) AE Zi m e 85 e- IL X 
显然 s- 积极 集 是 积极 集 的 推广 ; MAREN 1.1.3 fg X 
8.5.1 可知 0- 积极 集合 就 是 原始 的 积极 集合 ， 5- RRA 
显而易见 的 性 质 是 以 下 了 | 理 : 
21 8.5.2 SHTA zE R" 48 522350, 
Jm, B&) TA 81). (8.5.3) 
Powell(1989) 提出 的 一 个 求解 问题 (8.0.1) (8.0.8) 的 s- 
积极 集 法 , 在 第 不 次 夺 代 时 求解 子 问 题 ， 
1 


min gid + = d” Bd, (8.5.4) 
de R^ A 

g.t. ad= 0, $C #, (8.5.5) 
G;ULO, PC I lap Ep). (5.5.6) 


At m Fit — 7 EE ER SRR, qa— glo) = VS Coy): 
B,c RO" FEES. «0 是 一 参数 且 满 足 5 一 0 ( 当 
h— oT). 31(8.5.4)— (8.5.6) HIE Za du, AE d A EE 
行 韭 精确 线性 搜索 ; SR AF (2.5.8) 5 (2.5.9028 3 JE. pi 8 8.2 
AER BRHEBS2SELCA TET- TERETI A, 我 们 要 求 搜索 步 
长 满足 5C8.2.9) 式 ， 在 ms= 本 时， 条 件 (2.5.8) 与 (2.5.9) 可 能 不 
wa E. 

我 们 可 将 Powell( 1989) 的 算法 整理 成 下 列 形式 ; 

SF 8.6.3 

步 1 BH AAT ve By IESE, e10, ki =1, 

32 求解 (8.5.4) ~(8.5.6), 给 出 dy 

nm | Bid, «s, 则 转 步 4. 
步 3 进行 线 搜索 订 算 o0. 


$8.5] e- BUR SR E 199 


Cig = yt Ody, 
计算 Bess 
k= ki, Xp 2. 
ee MK esee 则 个 ， 
Dapur. Ai = A-+ 1, HoP a, 
在 算法 中 , a, o> OCR 1, 2, O)dÉ— FSF oO EMI Bib 
1 可 由 拟 和 牛顿 公式 计算 . 
在 假 定 了 2) 连续 可 微 且 满足 Lipschitz 条 件 ， 即 存 在 常数 工 ， 
恒 得 
IVf —VfGD qoam D|z-—yls VayoX, (8.5.7) 
以 及 矩阵 B. LEA QE. BS) -AA A W RAP, Powell 
(1989) HE RA T "i Fa oe a EE. 
EH B.5.4 设 flo) 在 可 行 域 上 满足 (8.5.7)， 存 在 常数 


m MoO, 4828 

md |b<d* B,d« M |d | (8.5.8) 
HA A fuü-— Wd c R^ 都 成 立 ; 则 对 任何 给 年 的 oO, 算法 8.5.8 
WA RIE. 


关于 定理 8.5.4 的 证 明 以 及 算法 8.5.3 的 一 些 具 恒 计算 的 组 
To ARDS REY DA HY 2] Powoll( 1989), 
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非 线 性 约束 优化 


KERT E 3 — 38 85 3E £3 VELIE RTI CL 1.1) 01.1.3) 8g 
将 值 计算 方 读 首先 我 们 介绍 一 个 基于 变量 消去 的 可 行 方 向 法 . 
许多 传统 的 优化 方法 , 如 Rosen 的 梯度 投影 法 ，GRG 方法 等 都 可 
以 看 成 是 特殊 形式 的 可 行 方向 法 .我 们 还 要 讨论 拉 格 朗 日 -牛顿 
法 ， 并 由 此 导出 逐步 二 次 规划 方法 。 逐步 二 次 规划 方法 是 解 非 线 
性 规划 回 题 的 一 类 最 重要 的 方法 , 由 于 篇 由 所 限 , 我 们 在 此 介绍 两 
个 逐步 一 次 规划 方法 : 一 个 是 基于 Dy TT A AARAA 
法 ; 5b PRAT Fletcher ADC MT He. 一 般 说 来 ， 利 用 
光 请 如 画 数 作为 价值 画 数 可 避免 马 洛 托 斯 效应 (Marotos effect), 
我 们 还 介绍 邢 约 海 色 阵 方法 以 及 一 个 信 吏 域 方 法 ， 对 于 一 般 约 束 
优化 问题 , 好 的 算法 仍 不 多 , 有 效 的 通用 软件 就 更 奇 扇 .由 于 大 多 
数 优 化 问题 都 是 有 约束 的 ， 所 以 对 约 东 优化 计算 方法 的 进一步 深 
入 人 研 窒 是 十 分 必要 和 非常 重要 的 . 


89.1 可 行 方向 法 


A 1171 In] S (feasible direction methods) hj HA HSS 
六 章 和 第 八 章 的 处 理 线 性 级 东 的 广义 请 去 法 推广 到 一 般 非 线性 约 
AR. 
Ae E wp 
min f(e}, (9.1.1) 
8. t. o(a)=O, (9.1.3) 
其 中 ole) = (ole), ++, 08(2))7,. ERNA o 的 某 一 分 解 ， 
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s- |", | (9.1.3) 
其 中 vs C R”, eve RR") FH(9.1. OMS 
o(s, my) =O, (9.1.4) 
GSR IL (9 1.4) EM os, 即 有 
Ug play ), (9.1.5) 


(9.1.1055 (9.1.20 45 ffr TRE 
min fles, zx)—f(p(ss), zx) (a4). (9.1.8) 


E pnr 


我 们 称 
g(rx) = an] (aw) (9.1.7) 
ARERR. ESE 
ga) = ~ f, £y) + uh = fle, ey). 
(9.1.8) 
t (9.1.4) nf AB 


Or,  @ rq Oclay, ma)? _ 
xy. Bin £p, Dx ) an 0, (9.1.9) 


假定 SO 非 奇异 Wd (9.1.8) 5j(9.1.0) n] 48380 
jeen) = fem #2) ze zx) 


u el Ep, Ly )* EX nO" oF (Bn, ty) 


Oty 


i li (9.1.10) 
3a I RI AS BE ZEB EET IE Lagrange AA ERA 52 [8] ER] PRSE. 
g (ax) —- [f(a) — X"e(2j], (9.1.11) 
其 中 入 是 满足 | 
2K o Sea” a (9.1.12) 
HET. 


HARARE, RATU 7 (eA C9. 1 «6 ) Bg SS 


202 JERE EHTE nA ILE 
索 方 向 , PAn TEA 73 E 

de= — Bi'g(GrsM). (9.1.12) 
EP Re RRB ERR, BA uri E E B. Jm 
4693 th, P.EDI S BS EIC BPGS) MARIA. 对 
F FCA SA (9 -1.6) (FAR RS TH fle) Pe Ee me. 


min fíg(Cms2u-Fady), (vx) ed). (9.1.14) 
扬 以 对 给 出 的 试探 步 长 o0 需要 计算 p(Gx)ieredu), KES 
求解 
Clap, (Eyle Herd) =9, (9.1.15) 
我 们 可 用 近似 牛顿 法 求解 oe. RI 
mu = Cap) i (8.1.18) 


. . Ge «nt -Å = 
pg 一 人 一 | oa, Cee) tad), 
H5 


(8.1.17) 
BF MEE KERI 在 一 般 情况 下 , 用 (9.1.127) 式 选 代 史 次 
后 就 可 得 到 满足 误差 允许 的 za WREG TREAN NX gu 
ex RE ANC, 刚 缩 小 w 重新 进行 线 搜 有 索 . 
T gu m t muB LS. 
算法 9.1.1 
wi ffi AFP a, em90, A= 1, 
步 2 计算 
3. | A. (8.1.18) 
AB A, SE dy Re; 
£5 (9.1.12 YF $E A 
Hi (9.1.11) 计算 即 约 梯度 gus 
步 3 img 则 停 ; 
利 辕 茜 种 方式 产生 搜索 方向 das 
步 4 对 (9.1.14) 进 行 线 搜索 给 由 a 770, 
Tpl = (Pel Cty Jut uda), (zy) 6d), 


Oe Cm o | Az | 
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k= b41 WPO 
AU ZE FE ART EJ RE C 2S 4D, 不 必要 把 变量 分 离 ， 记 


Ay= Alay) = Ve E), (9.1.19) 
A QE rf 
Á,— [Ys za (9.1.20) 
Ng Ete ER" 有 
Oy = Ze (9.1.21) 


为 一 线性 化 可 行 方向 . 设 ex 29 Pa SE CBE AE TE) 7 
生 的 搜索 方向 旦 满足 

t; gy 0, (9.1.28) 
其 中 gu = Zigi ERE BBE, Ml pH (9.1.21) X my 而 是 了 Cz) 的 下 
BEST ial. HF 


Bag + eut, (9.1.23) 
可 能 不 是 可 行 点 , 我 们 用 下 面 的 方法 将 它 “ 可 行 化 ”， 
gT = a, od, (9.1.84) 
rat) =p — Bereta’), $-91,3,--- (9.1.25) 
如 果 我 位 取 . | 
oy = — iu (9.1.26; 


BD FA ERE PM TSK BE 24 [5 BE 9.1.6), 这 时 算法 9.f.I 就 是 广义 距 
H per E generalized reduced gradient method). W fr GRG Ty 
HEX, Abadie fll Carpentier, 1969). H ER ERX e. 的 方法 有 有 利 
FA 3E Su BORED, APRES EL JE dO 7E V HL C9 1. 18) 235, 

B] £177 i iE We] Be 8E I E da — 2E {0 Bl FT 1238 $0 — 1 $233 
点 , FGA IURI B] Newton-Raphson 77 1X" utr [5 得 到 一 个 较 
好 的 可 行 点 ， 由 于 每 次 选 代 都 要 暨 过 著 于 次 Newion-Raphson 
RE, BLATT [Al ET i RP a ee SARS 


$0.2 Lagrange-Newton 法 


Lagrange-Newton 法 是 基于 Lagrange BLEUS E E RA 
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EERE Newton—Rephson AH. EMF t HA Lagrange pf 
at Fl Newton 方法 , 故 被 称 为 Lagrange—Newton i£. 

“FF Se A A Ye] B91) (9.1.3), 让 第 一 章 的 定义 可 知 ， 
c4E(9.1.1).5(9.1.2) Hg E—T R4ARMPRBRFACR™, B 
得 

VD 一 Ye 一 小 (9.2.1) 
H s 是 一 可 行 点 , 即 
ele =O. (9.2.2) 

EE 3L 7E 2H (9.2.1) 53 (9.2, 2) Fe Etm) >A Bins m) 
“aR, RATA A Newton-Raphson 方法 求解 . 为 了 使 雅 可 比 
(Jacobi) EXTR, PATH (9.2.1) 509.2. DS RM PSEA: 

wvf(s)-— Vela) h —0, (9.2.3) 
— e(m) =O, (9.2.4) 
(9.2.32 55(9.2.4) hy Newton-Raphson # t+ £f 38 E 3s Al 54 
满足 ; 
ui ^.) EL zlii "Od 


— Alg) 0 oA — elw) 
(9.2.5) 
其 中 
Afa)=Vets)t, (9.2.8) 
W (z, A) = VAP Ce) -$ Av ale), (9 2,7) 
AE KE TH] BS C 


Plo, Ak) — | vf(a) vels) Talat leco ts (9.2.8) 
Ay HERE. (9.2.5) 5E V. EN Ox JB OA BS 


A -IF 
H VP, À)— —2P(o, A)«0, (9.2.9) 


这 里 VP RE, 和 至 闻 上 的 梯度 .下面 给 出 的 是 利用 (9.2.8) 


HHA eh Lagrange-Newton 法 . 
wt 8.2.1 
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1p1 给 出 ER" ACK", e,—0.05, e20, i=l; 
b 3 iA Pte, A); 

如 果 Pay, A.) we, WIPE, 

EE, Ax) SLSR EE CO 2.5) 28 HH (Om)... (OA) xy 


Kyi = 1; 
W8 如 来 
Piat or dr)y, At 0x (OA Jg) x (1— 6105, P (ty, Asis 
(9.2.10) 
则 转 步 4. 


hy = Wy 4, 转 步 gj 
Jp 4 typ = y+ oum) 
Petey = Ap Ga (OR) x 
下 :一 中 十 二 转 步 了 
FA Bay KA (Armijom £2 18 PE (9.2.10) A HELE BA F EE 
Oy yt EHE. 
定理 9.2.2 设 算法 8.3.1 产 生 的 点 列 (Cox, MIRA, WA 
f Gf eCo) ME KES i, AE 
W (au, A) ACen) | 一 
Kora Ü | 
一 致 育 界 , Wl Cru, 142 的 任何 事 点 都 是 方程 PCa, X) =O ALIA 
V faq} BY ££ 40] Es Sp AE A 9 1-1) 9.12) ay K—T 后. 
证 上 明 ”假定 Cx, DEI, WIR -PBAE 


(9.2.11) 


P(x, A) 0, (9.2.12) 
我 们 设 _ - 
lima,=a, lim 入 一 大， (9.2.13) 
kem. RE iy 
E kom 


Kot], 2, --HII—7 P7698] £88. AT 
P (tert, Mega) (1 — 0105) PC re, X), (9.2.14) 
M. (9.2.12) SR A 
lim ay=0. — (9.2.15) 


206 AERE ORE [EJLA 
Ti hi EE A 
Pirs t+ dv}, hr- Oy, (Au) > (1 0405) P Ge) 
(9.2.16) 
WAFS AM eC Ko Mee, HoP â= dos dü 2, 9A) 为 
(9.2. 504 (x, X0 BE fI AR, Hi P (9.2.90 A a0, 我 们 有 
lim P(e +a x), —A+é&,(5%)) —P Ce, X) 


AE Rag 


了 -en y 
— —aP(z, X). (8.2.16) 
利用 (zw A) (2, À) (EC Ko) MA (Sr), (5A). > (de, 8X), 
于 十 对 充分 大 的 EKo 有 
Prr,— & (Gx),, Ay & COA x) — Plies, Ax) 


a 一 Pr, Aa. (9.2.18) 
HT acl, (9.2.18) $4 28 5; (9.2.16) FI. HEP JE LA 
P(x, À)-0 (9.2.19) 


必 成 江 ， 所 以 定理 成 并. 
KFI 9.2.10 Bg ee BLUE AUT AR. 
定理 8.3.3 设 算法 9.2.1 产生 的 点 询 和 zx} KAT x dm 
FED e(t PEZ RET, Ar) AR, mE s 
Jb Wr st ay ARTES AL, WU Aee", H 
yaq — m" i, — a" 3 
sca) B | ( 和 一 和 ) ) (9.2.20) 
证 明 ATHA 9.2.08 Wi b Æ (9.2.3) 5 (9.2.4) 的 
Newton-Raphdon 方法 , 于 是 对 充分 太 的 启 有 
Succ Orj 2" | fay — x" AI? 
| Ag (Sida Ae ni ( ca] J (9.2.30) 
HH (9.2.21 I fle) e@) 的 三 次 连续 可 微 性 ， 知 对 所 有 充分 大 
i8 k, (9.2.10) 3£ a — 1 BE ER SE, :于 是 即 知 (9.2.90}) 成 立 . 
be SHR RA, (9.2.20) FF 2: DEF d XL — do eoe v. 
lpr = OC ya, — x y). (9.2.22) 


$9.2] XK Jb SO E HOT 


lagrange-Newton 法 的 一 个 重要 贡献 是 在 它 药 基础 上 发 展 
了 这 步 二 次 规划 方法 ， 后 肴 已 经 成 为 当今 求解 一 般 非 鲁 性 级 京 优 
AL) NBR RTE. FER PPR ADH AHORA 
23] 73 YE. 
B xu (9.2.5) 写成 其 下 形式 : 
We, A) (8a) -- Vf (2) 2. A(a2(.--83), | (9.2.23) 


gf2 + Ale)" (Ser) =O, (9.2.24) 

4 (0.2.2385) 5 (9.2.24) n] A (62), 是 二 次 规划 问题 ， 
min dz flan) +H dW (an, dd, (9.2.95) 
8.4. olt Alo d= (9.2.28) 


的 K-T A "ME Legrange-Newton $E u[| Zt fg up RB ik 
规划 (9.2.35) 与 (9.2.36) 的 方法 ，》) 预先 给 出 , 对 任何 Bolo 

Arti = Artar Ae — An), (9.2.27) 
Hoh As FE (9.2.25) 5 (9.2.26) f] Lagrange T, ox SEAS & UG 
代 的 步 长 . 


$9.3. 逐步 二 次 规划 法 


ete 1x A X) HE (sequential quadratia programming 
method9) 是 一 类 十 分 重要 的 求解 一 般 非 线 性 约束 优化 问题 的 方 
法 , 它 简称 为 SQP 法 . 

3 E— ERE AA EAL) (1.1.3), (9.2.95) 
与 (9.2.26), ESS & DORT T Al 


min gdt dT B,d, (9.3.1) 
B, t. (ay) etm) =O, $C E, (9.3.2) 
Glep 6 +e(a,) 20, $C I. (9.3.3) 

其 中 A (23) = [1 8r) t asm) = vetns)"; 


gu Glau) = VF lax), E -—11, "Tg Tet, f=i{m,+1, enr mm, 
B,c En" Æ Lagrange ANT EERE, ip(9.3.D- (9.3.3) 


908 JES BE £928 c4 [3L JL 3E 


的 解 为 de ib x HL RRA 7g 2* 18 3A 7j qp. dE A s 
(8.8.1) --(9.3.8)8j Lagrange HT. WA 


(94790, $C T, (9.3.8) 
Ax len) + A (m) T du] =O, (9.3.6) 


dy 的 一 个 很 好 的 性 质 是 : ERIS TH RRA TUS I. 例如 ， 
对 于 Ly HTT BRA, 
引 理 9.3.1 itd, (8.85.1) ~ (9.3.20 H K—T H. hx EIA 
应 的 Lagrange Fey, WOT La DES ee 
P(e, e) -f(2) oS io) ir, D iele) | 
(9.3.7) 
有 P(a,+ od, 中) 在 a 一 0 可 微 , A 
了 (ax ody, C) 1a-0= — dx Bydy— o eo) fat Age . 
(9.3.8) 
其 中 e(r) EVI EYE BEC, 383 (7.1.4) SX Bg iE X WE di B. d, 
20 E ez]. W) dz JD] B3 (9.3.70 3€ er SED F ERA [9]. 
证 明 oT d W ER (9.3.2):5 (9.3.9), BRA 
PL redu, 6) \e0= gidro | CCo) fia. (9.3.9) 
MO.3.4)$50(9.3.6»)n[ A3 
dy dg Bydy = df A Coy) Ag = Aor), (9.3.10) 
Fil FA (9.3.9) (9.8.10) Bl aE (9.3.8) ae, MUR. By 正定 以 及 
ez AN 我 们 有 
Pilet ade, T) |a- —diB;d,—S(o— (Arda Le (my) <0, 
7 (9.8.11) 
MGS] AB mr. E 
TARNE Han(1977) 提 出 的 逐步 二 次 规划 方法 ， 
Bik 人 .3.% 
步 1 $i «CR, o>0, i>0, BE BRM eIl, &: =1, 
步 3 求解 (9.8.1) 与 (9.3.23)， 给 出 dys 


£9.3] XE ib ik Be RFE 2119 


tit ^R CART lt) 4 
求 CE LO, à], $H 49 
P trt agde, m) min Plagtoady, 9) + 3; 


(3.3.12) 
WB taps ty H Akg 
计算 Bess 
k:=k+1; $62 2, 
(9.3.12, 8] 3] eg Re 五 TT RR Chl, 2, +++) 是 一 列 
FE 4n SF le JE 
È a< -- oo, (9.3.13) 


Heni ERAT TEHA EEM: 

定理 9.3.3 BEJA eie SERI il TEXETE a. M> 
0, 使 得 

midh ad B,d<M hdj’, (9.2.14) 

xi—Ub k HM dc R' 都 成 立 , 如 果 DAV.«exrI—u biu «e 
ik 9.3.2 y^ Bg A ou ME RE 1.1) —- GL. 1.25 
的 K—T A. 

证 明 ”假定 定理 不 走 , WDEXECTOAUEISUP 6 HT KT 


lim D. m. (9.3.15) 
不 兴 一 般 性 ， ay B E 
lim Ay=A, lim B,— B, (9.3.10) 
E E 
如 时 
lim ld] =O, (9.3.11) 
t 
pi H 
Gut Brdr = Aun (9.3.15) 


可 推出 


sto FEES EE SSTR DEAE, [57.8 


9(3) = ACD, (9.3.19) 
这 与 zf 不 是 K—T SS. SOR SD 
[orl 202-0, VEC X o. (9.3.20) 
HHEH ER (9.3.20). (9.3.8 ELE DA mo WM 
Paler Hadr, 9) ao ~— mnl dil (9.3.21) 


SDRC Ko 都 成 立 ， 利 用 (9.8.21) 以 及 函数 了 ww) Mea) 
续 可 微 福 可 知 必 存在 正常 数 四 使 得 
min P (or tady, oA Plar oN (9.8.22) 
对 一 要 记忆 二 6 PRN. A 
Pte, TSP Cry, o) ntan YEK. (9.3.23) 
TRHA 
PI [P an 0) —P (Err 9)] + = Ey 


< PG, e) Pans e)) Ba. 
(9.3.24) 
由 于 lim Pla, c)-P(, c) BARER (9.8.24) 1:50 8— 


^ Bowe. 8 (9.3.12) Se, WH. REA (9.3.24) 和 万 >0 


AK ETE RRS, 这 与 假定 Ko BITS IS. WS 
说 明定 理 为 真 . E 
$i FB — D OUS FL ERES] RE d FARRA PLEBE AE, d 在 一 
SAP RR a. 事实 上 , 对 于 等 式 约 束 问 题 , Boggs、 
Tolle 和 Wang(1982) HEAR T 7E— SEF 
Dy + dh, — a = of | a, — ati) (9.3.25) 
等 价 于 


和 — 0, (9.3.96) 
IS h 


E Wert, MOEBB9.2.7) ERAT. PEM B^ dE AG) 
的 零 空 间 芋 的 投影 算 子 : 

Pem I ACau) LACTA E]  A(mT, — (9.8.27) 

Powell (1978a) 3] $$ 4 24 t& 3t ee) BA ILE T. A T IB 


$9.5) Xe cp SOBDXUE ott 


ERT- EE RIER BREAST. HÆ Powell fy £X 
WRIA GE EH 9.3.3 KS fe. Chamberlain (1979) 4% 
例 说 明 Powell HEA A E x3 AT RE SSE 

在 算法 9.3.2 中 , 线 搜索 是 基于 五 RT ae. 在 约束 优化 
m, 线 搜索 中 用 到 的 巩 数 是 用 来 判断 试探 点 好 坏 的 , BrEAXXU iS 
BERK OY Dr a BH ak (merit function), 用 P4 nj gd 4e A ffr fh A 
数 的 一 个 困难 是 有 和 名 的 马 党 托 斯 效应 CMarotos effect), 就 是 说 La 
T8 ay BCA AY RE GET EE RE ee (Marotos, 1978). ie +E Er 3 By. 
可 由 下 例 说 明 ， 


min S4 —2u, (8.83.28) 
st. u—v=O, (9.3.29) 
显然 原点 (0, D7 是 唯一 的 极 小 点 县 一 阶 充分 条 性 满足 ， 对 任何 
靠近 解 的 点 (8 六 0 充分 小 ) 
z(8)- (ule), ole) T= (gf, 8)T (9.3.30) 
R BAW (s, A"), 求解 二 次 规划 后 可 得 到 步 长 
d(a)— (—28, —2)7. (9.3.31) 
所 以 我 们 有 
HORLO E a -OCT2 (5) — e. (9.3.82) 
因此 d(e) 是 一 超 线 性 收敛 步 。 但 是 
fisie) +d(e)} = 265, (9.3.33) 
o(zia) -FEd(s)) — —&*. (0.3,34) 
由 于 
f(a(s)) =e, (9.3.35) 
o(a(s)) =O. (9.3.36) 
所 以 对 尾 何 入 因子 0 — 0 都 有 
P(z(s)--d(s), o)>P(lr(s), c). (9.3.37) 


故 利用 D. TU eg EA e MEL oC M m (8) td Ce) ABB ERE 

VER, HSER nd TCM EAT Se LF. Ai 
AK CATS MHEMA TT ILES C93 T) BG tE v] ER 
的 . 
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we HR Zo I SCT B) — PK ES BE — TL BpERIEZD. — BR 
校正 步 可 以 十 下 述 问 题 的 解 . 


min jfd- z- l dtB,d, (9.3.38) 
s.t. o;(a,)-+a,(2,)7d=0, éC E, (9.3.38) 
e;(23) Fa; (0) d 270, 6C I, (9.3.40) 


其 中 
Gu ge E Ouen) — Verna). 


(9.3.41) 

是 二 次 规划 49.3.1 ~ (9.3.3) 89 Lagrange RF. 19.3.38) 

~ (9.3.40) BME dy. — dxE— E ZEE T OT AGED FR Ee 
£u. 

| zur datada a |; | zs — 8" | > O. (9.3.42) 

HS ay FES SEUE m" 时 , 新 点 te tat ds RT ELE (p fELER XL (0.8 8) 

所 接受 关于 二 . 阶 校 正 步 方法 的 详细 讨论 可 参阅 Mayne fü 

Polak(1952)p2 X Fukushima(1986)， 这 种 方法 在 本 质 上 和 和 在 

下 一 章 介 绍 的 非 光滑 优 履 的 二 阶 校正 步 方 法 是 一 样 的 ，(9.3.3) 

~ (9.3.40) Ra A ART A ES oy +, GE I0 AR IR 

数 的 梯度 ， 这 个 现象 和 简约 海 色 阵 法 及 用 两 个 搜索 方向 的 方法 中 

Fy 82b 38 £X PE Wy oy AER SEA DL, 3x EAR BS, A IS AA 

性 何 信息 ， 避 想得到 一 个 可 以 被 a re eRe r BE GE 

步 , 必须 在 试探 点 oa td, ERUR — ERM. 基于 下 一 章 厘 光 谢 佐 

作 的 二 阶 校正 步 方法 ， 我 们 建议 用 下 面 癌 题 来 求解 一 个 二 阶 校正 

i. 
min gid++-d" Bd, (9.3.43) 
S. t. lapt dn) -rai(a)* (d —d,) —0, eC E, 

(9.3.44 

Caut dp) +0,Co,) Td —d,) 0, $C I, (9.3.45) 

FP (9.3.48) ~(9.3.45) 8109.3. (9.3.25 B] 25 B ARTA 


$9.3) Rib VE NUM BE 218 


性 约束 的 常数 项 变 了 了 ,而且 (9.3.43) (9.8.45) 48 (9.8.38) ~ 
(9.3.40) 那 柱 要 求 计算 Velar t dy), 

男 一 种 保持 SQ 方法 的 超 线 性 收 人 就 的 思想 古 修 此 接受 试探 
步 的 条 性 . REG ot, 既然 试探 步 gx ce RR ee. RAT 
dod EE SS ARP ST BB a eS = ERT. 

Chamberlain 2 A (1982) FB Watendog 技术 就 是 在 一 些 
quura BA H 8 Br 

L(g, 3) flo) — Y Aem) (9.8.46) 


作为 价值 画 数 ， 从 而 放宽 了 选取 a= Ae. HP Waichdog 
技术 在 总 体 上 还 是 利用 Ly HERAA BTR EIN 总 以 
UO EE GT Rik. 因为 它 在 一 些 选 代 放 宽 钱 搜索 条 人 性， 所 以 在 一 
Xm FE PD ae BA ee EY 
修改 算法 9.3.3 接受 试探 步 条 性 的 另 一 方法 是 用 其 他 佬 质 好 
Eg 2d og cee A IERA. RSA OR IRI (9.1.1) (9.1.2), 
Powell 和 Yuan (1986) 用 Fletcher 3439 XE A B] ATCT 2 S81 
ALOMAR Et. Fre SCT .2.39)B]p See eee fle) Ail cle) 的 
~ bre #2, Powell $8] Yuan TR] C7.2.38) 85 —+ RI ER 
D, (0,4) =f Cy lI @ Bx 0) — [A ae) 
- æ (A oy ES B, da) 一 让 (ay) )] "C (ct + a das) 
tu Gy, iL CQ; +OSx, Gx) 2, Osca T, 
(9.2.4T) 
其 中 d, JE — USER (9.8 1) (9.3.2) 8 b. Bo RS E UG 
Hg 5B oti PRR. on 是 当前 的 罚 因子 , BOE 


3, (0) < E Brde + on dl eC) NE 


&- X Geli Cre | (9.3.48) 


于 是 我 们 可 给 出 Powell 和 Yuan (1080) 8/7; i: Dd TF, 
gk 9.8.4 


314 非 线性 约束 优化 [5 2, 


zl Bac RB", BE (0, 1), Bsc (81, 1), 
we (0, 0.5), oy,1>0, BER’, a2, 
k:=1, 
zp a 和解 (9.3.1) ~ (9.3.3), 给 出 dy; 
如 果 (dal s. WG 
€ 6—0, Bol 
BS 选取 ou. (9.3.48) JR A, 
UE 
Py Br) E PrO) + eI D CO); (9.3.49) 
Mp 4. 
bi =t]; Bss€ (81, Bel Ben-1; 转 步 3; 
Jb gos PB, uds 
U kd,7177 OF,#} 
计算 FEET. 
ki=k+l; 326 2. 
引 理 9.3.5 Bich {de} {Ba A, AQ =Vel(a)* 对 一 切 
we RE WR RE OO, FEM — E $T 


dT Bydze8|d[2, v.d(am)*d —0. (9.3.20) 
WFE W 使 得 对 一 切 bcek' PD 
Cy, = Cy/,07 0 770, (9.3.51) 
Es HL 
lati — D, (9.3.52) 


TAM SIE 9.3.5 PEREA FEM. 

定理 9.3.6 在 引 理 9.3.5 的 条 件 下 ， 算 法 9.3.4 产生 前 点 
35 Lo AE ful 26 x AERE ECCO 1.1) 5 (91.2) 08 K—T px. 

BAW 9.3.5 AL SE X8 9.3.6 & TE Bj np E, Powell 和 Yuan 
(19086). Fd By BONES) ax EW D UL ES CN XAR, EXER 
性 何 超 线性 试探 步 都 能 被 接受 ， 

5138 9.3.7 设 引 理 9.3.5 的 条 件 满足 ， 算 法 9.3.4 产生 的 
RAin RT m". BE FS 18 $—1,3,-) Mb b ooBp8 


82.27 FR A eR b E 915 
Ix, + Gg, — m | =o, leyal), (9.3.53) 
Bn x HS FST & 
Cpt = Ly, + Ox, (9.3.54) 
证 明 DR- RRR IE. Ario 
REL, RA thee. BRR EH 


B,.o(1) — Pio 0) — ud, ,(0)<<0, (9.2.53) 
H (9.3.51) 4] 
Qu ol) = f(z d) — Atm, + ds) To(q,-- d) 
+S Gfe(eHd:) |}, (9.3.56) 


利用 Fle) 的 二 次 连续 可 微 性 , 我 们 有 
f (Ge di) = fa) +5 dT gig (0 ds)] +oC bath) 
= f (ax) +> dT [gst ga] -oC1 d. 


(9.3.57) 
同样 ; 对 ee 二 da 也 有 类 似 人 .3.57) 的 表达 式 ， 将 这 些 展开 式 伐 
入 (9.3.56) 式 中 得 到 


Pi olL) — B2,9(0) 
-— di [g+ g (2°)] 
~ art d)? | e X AM +S ACTA, | 
-| Me Tleli) +d: 


-7 Po (0) +5 dilg (a*) — A(z*) Mord] 


+ ol asl 
== D0) + odslD, (9.3.58) 


AY EE TE BH FF EE E 33:5 0, 使 得 对 一 切 总 和 有 都 有 
(0) -gida (9.8.59) 


alg FESS FE 25935 De 40 [Sox 


fli (9.8.58). (9.3.59) BU uc. 即 知 , 对 充分 大 的 1(9.8.55) 


mx. B 

M [39.8.7 可 直接 推出 以 下 定型 ， 

定理 9.3.8 设 引 理 9.3.5 的 条 性 满足 ， 算法 9.3.4 产 生 的 
FAT icu) SP m^, 如 果 


lim Bte o, (9.3.60) 
we | ye "| 


由 对 充分 大 和 的 五 都 有 tea, td, FRAP {en BEM oT 
g”, 

Hik TUB apod S D BOXE BY 2) B B Berisekas 
(19824) Boggs 和 和 Wang(1985). Di Pille #1 Grippo(1986) 4. 

oh, MRH te HS EA a OH — UX 
规划 方法 由 Gi Murray. Saunders #1 Wright(19883) El 其 
Schittkowski(1981, 1983) £r. 

下 国 讨 论 逐 步 二 次 规划 法 中 Bw 的 计算 .一 般 是 用 氢 生 顿 
EIE. TÄH Bea Lagrange RRMA, 我 们 
n] X 


Sy = Tua — Ue (9.3.01) 
yum Vf (tee) — VF Con) -$ Os Lv Or Duat) — Vei(z)l. 
(9.3.62) 


然后 逢 用 第 四 章 讨论 的 拟 和 牛顿 公式 计算 Bur SCAR ihm 
Bi A PRT AE, ATF DER A D BE TS Se FE AS 8B DR uE. 
Sey 77D, (9.3.63) 
从 面 不 能 直接 利用 BEOS 方法 . Powell(ilOTSa, HOUR 
T" [^ Wi sryuz-0.2s, Bs, 
uy t (1— 0,) BS ar JU, 
(9.3.64) 


AB 
9 0.857 Bs, 
H mnl 


^ 9.3.65 
S, HS, — 8, Vx ( 


89.4] EX £478 fS EE PE q17 


CORE a, 0) EIS REL EAA vo. Bass 的 是 组 合 构 造 一 可 
BFR SKE ea ee, pa Pis : 
可 理解 为 y. HY ETAT, BG Bus 
AE GRE AE B; 正定 》 

$; (BSk) >O, (9 .3.66) 

WA FA va 和 Biss II R dE — pe 
很 自然 的 选择 、Powell 的 公式 
(9.3.64) 3€ JL A EET HRA 38 
Bs. th ARM LRBREA 1. 46 
TEAR (9.3.64) SE es LAER v. 


是 在 ye 和 Bus, 的 连 线 上 使 其 尽 可 
fib SEXE yo 且 在 吕方 向 上 投影 的 长 度 至 少 为 0.3. 这 可 由 图 9.3.1 
FERH, 
得 到 了 修正 方向 % 后; 我 们 可 用 BFGS 方法 计算 Best: 
BossiB E PYE t 
Boan B, SBE 4 ES. (9.3.67) 
RUE 所 的 方法 是 取 
y= Yy bBo > — e,Cag) Ver Carp) (9.3.68) 
[VE Vs AT 
Quo [VL ap And H Dos ad] Sa (9.3.69) 


所 以 可 理解 为 利用 办 实质 上 是 希望 Brua 近似 增 广 拉 格 朗 日 函数 
的 海 色 阵 ， 这 一 方法 的 忱 所 是 

ST ay 770, (9.3.70) 
We ARB gm. dm sp4.-0. BAA BAO H (ced 
(9.3.70) Rat. MAREK, eR A H eee 
阵 是 正定 的 , 故 用 正定 矩阵 Bi 近似 它 基 比较 合理 的， 


$9.4 既 约 海 色 阵 方法 
既 约 海 色 阵 方法 是 利用 既 约 海 色 阵 或 者 是 近似 既 约 海 色 仁 和 


218 JE ee FE £D DE [EAE 
WRR ARRIRA B. 

A TS SHE fb [el Bt (9.1.1) 与 9.1., E f(x) 和 
oCo) WE Br Be EPP, A 9.1755 Lagrange-Newion 法 是 
一 个 利用 Lagrange MAMARMAK. du 


W;-W (a, Aa) = Talon, Aa); (9.4.1) 
A, = A (ing) 一 Vez), (9.4.2) 
gxy— VF (an) = VF (ay). (9.4.3) 


i] Lagrange—-Newton WAAHI 3g (dy, (54) 


Wy, — Ax dy, o 9g AyAy 
|e 0 len] — ON | (9.4.4) 


& Ia m Ant (A) 则 (9.4.4) 可 写成 


Wy — Ay || dy op YR 
La elk sl t9 
Ax Aa T] HBR 分解 有 如 下 形式 . 
Ay= LEX za | (9.4.6) 


TIR) (9.4.6), RAPT (9.4. DE RENER: 


YIWLFP, YiWyLZ, —H, | Yid. — Figu 
各 


— Bt 0 0 | 


Ch 
(9.4.7) 
> 
fx Y £d; (9.4.8) 
da — Z ids. (9.4.9) 


显然 , ps 和 qu Ar EET R23 5] du 在 秩 空间 和 零 空 间 工 的 投影 , 由 

于 线性 方程 组 (9.4.7) 的 分 块 三 角形 状 ， 我 们 很 容易 依次 求解 p 
gx 和 Ay; 

Ritu Y tow (9.4.10) 

(La W ug: —Zk0x — Z&W xY xfho (9.4.11) 

RV, — Y ig, + YEW CY spa Zags). (9.4.12) 


$ 9,41 B. See CE ee 219 


如 果 抬 59.4. 六 式 的 后 两 行 ( 分 块 意义 于 的 ?单独 考虑 ,出 得 到 一 个 
与 入 无关 的 线性 方程 组 ; 


Li i — Zt te 
| — Ri 0 Izl- Cy | 4.13) 
实质 上 就 是 
| 全 ru] m (9.4.14) 
E — A; £) Ci 
Nocedal 和 Overton (1985) tiv Hi WA Wi #6 E E BS By ita 
ZEW i (9.4.15) 
即 每 次 过 伐 的 搜索 方向 dy XE 
By —Z igi 
d = 4.16 
ma | Ci | (9-4-18) 


jf, BrE BRB"-m** 是 ZhW's 的 一 个 近似 ， 由 于 ZW, 是 单 边 区 
2415 65 PE (one sided reduced Hessian), Bt bL Xx Jj Hz ti foy E 1 ge 
$9 7 Bo i SRT BY EA Broyden FAREA 1 的 公式 修正 By 
E 


"EN T 
Bua Bot T ise Si (9.4.17) 
eg Sk 
Ap 
Su = Depa Xu (9.4.18) 
Vx Ziiik-i— Z k Ge. (9.4.10) 


XE -— 8E A PE TF, Nocedal 和 Overtlon(1985) TEE T RD E 1E 
3 (9.4.17) (9.4.19) B5] ZR. 2 B, 0] Be (6 PEJT e Jp E EB £5 PE CON 
B. 

HEF FRY IERI A BE (two sided reduced Hessian) Fy 
E. SPER — Tiara IE OS B.E ZI. MASSER 
$B ZW 于 是 从 (9.4.18) 式 得 到 


em 
— Bi 0 d oy | ( m 


XCREIEBIEH Eje; 首先 ， Powell(19185) EPI EP — DOR XIDTTR 
B 2 PE Cac RS 2 YLWuZ, 3x —38 BERI TE— CN. Zr 28 ER 


220 AERE RRR IE [EAR 
EF BIS PIZP EI ZR FE Ne a ER PR 


[2e — E] ug. (9.4.21) 


3 — "1 8 Hp AES oo (a) AE gei CE. AE wy 是 可 行 点 ,; DE vy 
=O AM sW aY a 并 不 影响 gu BLfEC98,L(9.4.123) A). RAR 
Ly Wal Ei ES TEBEAR— ETE REM, PURI Eee 
(加 BFGS BEAD KEE. 

124] FY (9.4.20) 75 SBR: 


T T 
ae (9.4.29) 
By;4 A di BFGS AEE. 
Bram B,- ED 十 = . (9.4.28) 
其 中 
Sg = 2 agua — Xy), (9.4.24) 
(r= Ly e1 Gerd — Sun. (9.4.23) 


X Y BE AF EY A TIE EAP £X PEGu mu. BEE 
b. ALAT X SH LE Coleman fi Conn £1984); Nocedal Af 
Overton (198p 以 入 Powell(19785)]. 

定理 8. 和 .1 Hay H(9.1.220 [IRE X, mua mm da, cu — 
c", Bg] 一致 有 界 , HAE o Sho Bae, DU au Be Q- 
起 线性 收 艇 于 e, 


opra 2" || /Ao a*i — 0 (9.4.26) 
4 BÓ 
| (Bi;— Je M MZ (eV) Zedul o 
(9.4.27) 


mi Epi EE EX BE US ARS BB BE 2b HE, Yuan(1988c) 
TUI a 3C 


1 1 、 ; | 
fl) = po — ye + grr | Ae 6 2°) 


3 9.4] B TAE RES Hs aa 
-185—y) (y = 17(y e ea AE) 
(9.4.98) 


ole) mires V cae (ev) y) Ey)’, 


(9.4.29) 
其 中 e= (y, 27€ R^, HEB 
| By—Z(m)rW(a*, AZC) (9.4.30) 
得 到 点 烈 (zx} 满 足 
EE S | = | um us (9.4.31) 
[maso — 2*4. — [ms — 2*1. (9.4.32) 


Et ELLIALBE AD SEY 1I RBA —2b QE. SEE, 
Hy (9.4.31) up Al Q- £x EU PEI A. 
从 Lari = uy ty (9.4.22) H 
B,Zy 一 人 
aana e A aa 
考虑 B= Bly) H EBE) RESER, TERNIR RNI HE 
2318 £8, EDT LE Se TAS 93 8, [e] RR 
n= ó(z) (9.4.34) 
AY LIGAS 其 中 
pla) =—2— MM T on Tg(a) | 
A(s)? o(s) l 
(9.4.85) 
BRA 
$(v)-e—[Z(2)B(2)"7 Alw) [Ae)*4A(@)} 7] 
x m^ (m) | 
e{s) 
—2—Z(z) B(s) (ay [ g(a) — A(e)A*] 
— A(2) EA (27 A (2)] ele). (9.4.86) 
H T g(4)-—4À()A*—0 H ela") —0, J (9.4.36) 5X nT H 


823 非 线 性 约束 优化 [os tut 


Vé(z*) -I--Z(a')B(as*) Z (a) "W (e, A") 
— AC LA(z 2A (z")] 1A (2*)7, 


(9.4.37) 
利用 
Art 
Aca) - Q^) à | 
—[Y(2z5 Z(a*) |^" | (9.4.38) 


以 及 记号 W*=-W (a, ADDS 9.4.39D 58 
Vé(a*) =Q") 


J | 0 | 0 | 
Bo Zo HWY) I-—B(a)^7Z(as)T7W"Z (a) 


x Q(ao*)*, (9.4.39) 
& p(G) AWE G RHEE, Bey 
pi pCE(z*) "Z (a*)"W*Y (2")), (9.4.40) 
paw p(I— B(s) 1Z(m*)"W*Z(a")). (9.4.41) 
Wi gi (9.4.39) n] Ag 
PCV d(a*) )  o1- pa (9.4.42) 
以 及 
PULV O(a") 17) Spa ei pa). (9.4.43) 


所 以 , 只 要 papito) 1s 则 oy RPE ROE o^, 特别 地 ， 
Bia) =Z "W'S (2"), RANA p=, 于 是 
pCIv (2*)]*) = 0, (9.4.44) 
故 点 列 oy AMRIT ot HUE Z (2) TW*Y (2) 260, 出 
PC) mpi LE SIAR) 9, (9.4.45) 
x TEL UEEH 23 fe IB £938. 8 75 ER RT B6 —2b d £x TE Uc e. 
从 (9. 和 .39) 还 可 知道 , AR Z Ca") WY (a =0, H 
B(z*) —Z(a*)"W"Z a), 
BU RF o, 一 步 OM ES EEUT SET. o, 


$9.5] se Bi M - aa 


$9.5 di WA 3 Z 


PURE ACE PALE BORA dy ERS, 即 满足 

[dul < Ay, (9.5.1) 
其 中 下 .| ER 中 某 一 范 数 。 ARAMA eR — e OR 
困难 是 线性 化 约束 条 件 (9.3.2) 与 (9.8.3) 在 信 闲 域 fg:1d| <4, 
内 无 解 、 对 这 一 困难 至 少 有 了 两 种 处 理 方法 ， 第 一 种 方法 是 求解 如 
下 的 子 问题 


min gra + = a Bd, (9.5.2) 

8. t. Oale) -dTa; (o) =0, 66H, (9.5.3) 
8c (2s) +d7a,(ay) 0, + I, (9.5.4) 

(E| ae Ay, (9.5.5) 


其 中 8E (6, 1). ATR RARER 1, Æ.. DA H py eg 
SUBE E-—BSIe(0—1)* KF xx 28 RH my bI de up Ws Byrd, 
Schnabel 和 Shuliz(1987) $8 Calamai 和 Moré(1087), 另 一 种 
方法 , RAMS AAR. déc ECT minm s. 


omg i gr ! 
min gyd F 5 dT Byd, (9.5.0) 
27 (eG) + Bi wp) TA) 5s, (9.5.7) 
leas Ay. (9.5.8) 


其 中 £O ay BUR SOR BL Celis, Dennis # Tapia( 1995) 
Lik Powell 和 Yuan(1991)]. 
在 Powell 和 Yuan(1991)3Si mj Ae, BRIERE 
间 题 为 (9.5.6) ~ (9.5.8), E £x 满足 
min [ek Ardi E < min ler Atala, (9 5.9) 


d pa mo dx 


其 中 bhb 是 (0, D) RA LMM Pee. RREA HAIT ag ee 
dE XL iH TH BA L0 DISC 


2234 iF£ EE STR EC TE [7L 


Dum) =F (2) —A(o)Te(o) +o,fe(a) la, (9.5.10) 
其 中 o,>0 十 当前 的 罚 因 子 ;, A(GOAXEX)^—35 
min | g(a}—A(a Als (9.6.11) 


的 最 小 范 数 解 ， 为 了 避免 计算 二 阶 导 数 , 我 们 选取 
D,— — (gu~ Asn) "dy — GLB 


— (A (æu ds) — (m)? (on 5 AT.) 


— oy (lex t+ Ad — llela) (9.5.12) 
EA ffr (8 ER C CD BT MER. Hep 
d, (I— A, Az )d, (9.5.13) 


是 三 投影 到 A 的 零 空间 上 的 向 量 . 然后 计算 paa 的 真实 下 
降 量 与 车 村 下 隆重 的 比值 


se = Fel awh dy) (9.5.14) 


平一 个 选 伐 氮 Pees MELIA E KE fp mr. 
有 关 ， 下 面 的 算法 是 由 Powell 和 Yuan(1991)25 itj. 
39.5.1 
步 1 BH ag’, BER”, 4,—0, Ob, 51, 
gi170, 6270, kiel, 
ipa 如 果 dexad-dg— Ax] es DU E. 
58(9.5.6)— (9.5.8), 25 Hdr; 
步 3 再 49.5.121 计 算 Dy 
mE 
D> + ew bowl a jont Atos lst (9.5.15) 
则 转 步 4. 
计算 


T,= 20;,-+ mex fo -4 


D, 
' “Youle | ot Adds là l (9.5.16) 
& Dy:=Dy [043—603] DLlos]£ — lent A645]; 


$9.5) fi dà ox dE 245 


Gy: = On 
步 4 计算 比值 1f9.5.14)， 
— verd. MAR 30; (9.5.17) 
trig OM. 
max [ dy, 4| dua], Ty 0.9. 
Sari = Ay, D Lar. 9, (9.5.18) 


min[4,/4, |dz1s/2], «0.1, 
Jb B 计算 Bae Crt = On 
ki —B+1, 9636 2, 

Xt F 4h 4A [Rp (9.1.1) 8 (9.1.2), Powell 和 Yuan 
(1991) 4E T 30 F c SX ee Ee 

定理 9.6.% 设 ien. iih 1B} MARA) XE PUR oO 
是 列 满 秩 , 风 必 有 

lim inf [jer at 1 C£ — 4242212] = 0, (9.6.19) 


EC o] Dh FE FE— T PROS J fad (CO 1.1) 5j (9.1.20 BE A. 
定理 9.5.8 EEM 9.5.2 Ae TF ADR nov, 在 好 处 二 

HEDRE HA 
lim imax Jd? Bi- Wa", Ad | y (9.5.20) 


k-cmAT o0, 3 al || €x || a 


WA 
lim r= 1, (9.5.21) 


E ex Q-A RPE a FF z*. 

关于 以 上 两 个 定理 的 证 明 可 见 Powell 和 Yuan(1991). 

求解 约 东 优化 的 信赖 域 法 的 子 问 题 主 要 为 两 奖 BY C9.) — 
(9.5.5) 和 (9.5.6) ~(9.5.8)， 对 于 前 者 , 子 问题 可 化 为 一 个 二 次 
规划 , 族 可 用 第 六 章 讨 论 的 方法 求解 下面 讨论 子 问 题 (9.5.6) ~ 
(9.5.8). 

25 BBA P te A SR — RAS ANY fa, 


min g?d+-—+ a’ Bd, 9.6 22) 
dé H* 2 


. 2a jJ: ER ME SUR DOE CHALE 


s.t. jAtd+ela<é, (9.5.28) 

djs d, (9.5.24) 

其 中 go R", BER", ACE", cC B^, 470, £20 DR BE 
对 称 阵 ， 理 于 在 

f= Sain min | ATd+cls (9.5.25) 


At, (9.5.23) 5j (9.5.24) Æ | CA) *elaze AN RA—+HGAR, 而 
在 ]CAT)*els-— 4 RE, TH (9.5.22) ~ (9.5.24) Str Heth me 
min (9g — B(AT)*e) T (I— (AT)* AT)d 
+y d (I— (A7)* A") BU - (47)* A7)d, 
(0.8.26) 
s.b. ldis«^/ A*—| CAT) tei ， (9.5.27) 
这 变 成 在 一 个 球形 区 域 求 二 次 函数 的 最 小 值 . 关于 它 的 讨论 和 算 
法 可 见 Gay (1981) Lb) 7& Moré 和 Sorensen(1983)， 所 以 我 们 可 以 
假定 
È Emin. (9.5.28) 
Yuan(19902)uEBA T Zr ak: 
定理 9.6.4 E (9.5.28) 成 立 d^ Æ fa] E (9.5.29) — 
(9.5.24) B ist, 则 必 存 在 Lagrange RT ASO, 4220, 使 得 


(B-- AI ru AA" )d* — —(9g-r- p Ao), (9.5.29) 
Feb Set: 
ELBE NR A[A— | d* [5] 一 心 (9.5.30) 
ng- |.A?d* +clel —0, (9.5.31) 
Fi Hanae ty Ae 是 唯一 确定 的 话 ; XE EE 
HA, = B+iAl+uAAT (9.5.82) 


最 多 只 有 一 个 负 转 征 什 . 

定理 9.5.5 在 定理 9.5.4 的 条 件 下 ,， 记 Q 为 所 有 满足 
(9.5.29) ~(9.5.31), B X20, p> 0 HRT, WHA, neo 
fis fa Xi BE (9.5.32) RE RA EEA 

关于 以 上 两 个 定理 的 证 明 可 见 Yuan(19902). 对 于 子 问题 


$2.5] if M i 0A 327 


(9.5.20) ~ (9.5.24) 3 + fy TG eA REE, — PAR JA 
法 荐 只 考虑 二 维 子 空间 上 的 解 , 即 考 虑 
dCspanig, CAT) te}. (9.5.33) 
HAJ E ROT B EEEE RAO. 5.22) ~ (9.5 24) iy 
min fh, p), (9.5.34) 
S.t. AzO, w=0, (9.5,35) 
此 中 


HOM, way MP +S lee fold} 
+ a +wAe)TACA, H) (g +t p Áo), 


(9.5.36) 
BAA, u)BHi(9.5.8205g X. SL Xia 
d A, 1) = H(A, Hgt ude), (9.5.87) 
刚 不 难 求 得 
1 pa ECA, pelle 


Yn 
TUO ET a ot ATEOA, wits TM 


VAb(A, p) 
-| (A, MYTH (A, PTAC, p) dO, w)PHCA, p) ty, u)] 
GO, HTH Qu, pI (X, bd YA, m) AA, p) (A. 2l 
(9.5.39) 
其 中 
YCA, b= Alot ATd(A, 12). (9.5.40) 
Te A, 只 要 计算 出 AA, nm Cholesky Ape, RRA BH A 
PR UD, uo Bg — ir Br Se, 所 以 我 们 可 用 和 牛顿 法 求解 
XH HB [A] SE (9 5,245 53 (9.5.35) EMR b] iE T Di, Yuan(1991),— 
B A'Zm0. u*x05(9.5.34) (9.5.22 B E ERE, 我们 令 d'= 
GP, ut), 即 知 d^ XE ES IRTRIL(O 0.22) ~ (9.5.24) frt] A. 


第 10 3€ 


AR 2€ HS Ji 46 


3E 3G iB OC 46 (nongmooth optimization) Œ fa BM f(x) 和 
els) (i=l, ++, m) RE ug fr ig RAR e n] E (1.1.1) 
(1.1.8). JESERR M EUER ART MAW (nondifferentianle 
optimization), 

3E36H HOE 2E — PA BY RIAL AAAA RERA D C i, 
nockafellar (1970, 1881) Olark (1988) 5), C di E XR 
TEA He Hy, AR ORE Ee Beppe — 28 dERHCERERJE GAME EER tE i 
A 

min ACf (o) (10.0.1) 


E] SOO EA PE, TECIO.0.1):9 FW ALM ^ 2j Re 的 
AT ea RBM. A0) E" Big. 这 类 特殊 的 非 光 油 优化 
问题 被 称 为 复 含 非 光滑 【oombposgite nonsmooth) 4.14] 35, mb 
复 会 不 可 报仇 化 问题 .不 可 知人 居 化 也 家 简称 为 NDO， 故 问题 
(10.0.1) YT RA LS NDO 问题 . 


S10.1 方法 概述 


利用 L. 精确 罚 函 数 ,我 们 可 把 一 个 带 约 束 的 DO 问题 在 一 

定 意 头 下 等 价 地 转化 成 一 个 无 约 东 的 NDO, Br RATER EHE S 
束 的 不 可 微 优化 问题 

min Fo), (10.1.1) 


这 里 我 们 对 AP (o) AER aT tt 


$ 10.1] D i HR GR 229 


Ef Cw) 几乎 处 处 可 微 ， 利 用 解 可 微 问 题 殉 方法 来 求解 
{J0.1T.1)( 假 定 在 每 个 迁 代 点 上 也 (2) 均 可 微 ) 将 有 两 个 很 大 的 难 
点 ， 第 一 是 算法 的 终止 条 件 不 易 给 出 ， 我 们 知道 ， 当 eA 
— jE S n] ea P (o) BEER IN p NY 大 四 | 一定 非 稍 小 AEL 3G 
a ET 7G 29 REET RAAR EAR EV P(e ie. ft 
FRAY RRHRAR Be. Aiin=1, P@)=|el, MUN 
性 何不 是 解 的 2 都 有 

|v (m)! -1. 
另 一 个 难点 是 由 Wolfe (1975) 指 出 的 “折线 收敛 于 韭 解 现象 , 也 
就 是 说 ， 当 P(e) EP, AR FARE F Ee BE HY BE 
rok PP — dE Ea CEPR GR HEC BS XA x8 ok FT 5 Rockatellaz 
(1981) Li RABA iE 3 10.2.1), 4 fu. Bax uy, o), 
F(a} =max is v-t (uu 1)*, T + ip). 
(10.1.2) 
很 定 
AL- | en|) 
a=] Ey | 
H 2,70, MERIA TR R TEE T E 2 
ma [PEE 
— 8/3 
PAE NF of (10.1.2) DA H8 B BE BR 2+ 3[5[, 527 (S40), 
ERRER TREERE T RRA PT (3, 0)", BRC, 00" 不 是 
(10.1.20 B6 Saxe A. 

非 光 清 优 化 的 一 类 方法 是 次 梯度 (Subgradient) FA. 3325 
Ji tke di Shor (1962) H., MP P(e), Arpa g 
AP a) fw BR, BAR 

FDF --(z—»5)'9, Vee RB", (10.1.5) 
F (a) TE @ REBT ARER BA BRO PCa) fe RE 85 ok EE 
4 (subdifferentia]), Hj 昌 2 表示 之 次 梯度 和 次 微分 概 您 可 


(10.1.3) 


(10.1.4) 


230 3F 26 38 (5 E C+ Bf 


HES 38 eS HY Ke (Ru Clark, 1975), YBBR BIEL 
的 直接 推广 , 它 利用 

eg = Le — On de! | la (10.1.6) 
PEAS mh HP gC OP (ay), ORBEA. MAF 
(10.1.2) R[ A o; 如 果 按 精确 搜索 选取 , BY RES PE XE 
点 .幸好 的 是 ， 如 果 Poe) RRA oy 不 是 解 ， 则 驹 充分 小 的 
Oy 270, 也 有 

Ent E" a e—a da. (10.1.7) 
H y (10.1.1) BHE-- th CH Zowe, 1985), Shor (1963) 
证 明了 对 于 是 函数 P(e), RG S= fo, Arg min F (e) ES, 
则 对 任何 3>>0, 存在 了 >0, WE ox 三 7 (re(0, r)), NA 


lim inf F (zy) «min F(2) +8, (10.1.8) 
WIR GP E iy > O 2$ 
lira op 一 0， $ a= 十 cc， (10.1.9) 
jl] By DEAT aR I Cans AT 
lim Fm) —mtn F(a), (10.1.10) 


FÉ FE a] SURE JE ERU UR E DI, Eirmoliev(1966) 8 Polyak(1987)], 
Fy 0.1.9089 15 E LEICA XE BE E REX TEX IS, Shor(1968) 
建议 取 

03 = O10, Oz q«i, (10.1.11» 
Api R-PRPEMC SUE BE. (ELBE CTY CIO. 1.11) SE ARAB AR EM A 
到 解 ， 事 实 上 , 只 要 中 到 有 的 距离 大 于 oa/ 代 一 分 时 ,fo} 则 不 可 
Be dec (10.1.1) By FE IRTRRE. 

SR Ai B bs es Xr Bg ee 77. 则 可 选取 


~ OLALI, (10.1.12) 
这 一 步 长 选取 方法 最 初 由 Eremin (1965) 对 于 极 大 极 小 (mini- 


max) 问 题 
min F (r) = max ifi), 0} (10.1.13) 


$ 10.1] Got WA iB 221 


HERH, Polyak (1969) XXX TAE $0) — RE AEOE IB UL H 
证 明了 其 R-RE E. SR AES 对 于 问题 (10.1.18), 该 
方法 等 价 于 求解 非 线 性 不 等 式 组 

fw) (10.1.14) 
By RB (relaxation) 方法 松弛 方法 至 少 可 湖 源 到 Agmon 
(1954) E] R Motzkin 和 Sehoenberg(1954). 

另 一 各 加快 次 杨 度 法 收 合 速度 的 方法 是 Shor (1970) 提出 的 
23D E (space dilation) TA. X7; UBI AE AGB AR AE, ZEA EX 
RN, HRAANTRA p AK MAB ae ATAN 
法 的 详细 讨论 可 见 Goffin (1978), Polyak(1978), Skokov (1914), 
Shor (1977, 1983) 以 及 Zowe (1985). 

AeA EF] BY BE BE Coutting plane) Ye 4} S rh. Kelley 
(1959) £j Cheney 和 Goldstein (1959) 独 立 提出 的 ， 割 平 而 法 的 
基 不 思想 是 : RETR EAR BB EE — p £e 8i A (polyhedron } yy 
ff. SRBR see, MSR EE k KER 
有 多 面体 Se MANEH EXE 

min y (10.1.15) 


vc H^ 

a. b. oz- F(zm)--gi(m—2), ¢=1, -, E. (10.1.18) 
cC S; (10.1.17) 
M pe Fen peto ARERR are, WAI 
Ak, we V Flo) 非常 小 、 从 而 (10.1.16) 将 会 是 非常 坏 条 性 的 
(ili-conditioned), dE E TA] 33— ^ fk A: 当下 充分 大 时 , 问 
Hi(10.1.15) — (10.1.17) P Z4 ROCK Ze. ERAJ, ES TT 
DUC EE SU RE RS UL ELT RT Ke, ERE ABH, 

Wolfe (1975)3& H1 dE Sg TX BÀ HE (conjugate subgradient} gE. 
POSE ZR) A EE AS SEE BRI MESE SIARA. dr UK RR, 

征文 一 个 集合 fact 2, ---, Ah 求解 

min pa hee Gal S (10.1.18) 


s.t. $7 A 1, u0, (10.1.19) 
for, 


ang JE 36 d oU fh eae 3 


EXP (¢E £,) FE (10.12.18) (10.1.1950 A. SAI 
d= — T Ao (10.1.20) 


fel. 


FUSS BER TEAR A A eT H. BE De TU {kti} 则 当政 (2) 是 
HORER HARRER TKI EBEE RELE 
ht YR. 

共犯 次 梯度 法 的 推广 厦 拥 集 (bundle) 法 ， 拥 集 法 在 第 次 
BN AURA WO (9-1, +, k) BOR 


T 
2 
k 
B. t. MAL, Au zzÜ, (10.1.22) 
(21 
e 
T MUS. (10.1.23) 
al 


共 中 8>>0 是 一 预先 给 定 的 常数 . WM Gel, e, E) JE (10.1. 
21)~(10.1.23) Ame. RER 


hg (10.1.24) 


方 第 名 次 壬 民 的 搜索 方向 ， 不 难看 出 ,如果 一 0 GET H he 
一 十 oo (@ de) Mj (10.1.18) ~ (10.1.25) $8(10.1.21) —-(i0.1l. 
24) So. ATRREN EE ABT E UATARA EE fo Be 
‘Wea SH BTL Lemaréchal (1978a, b, 1980), Lemarechal, 
Strodiot 和 Bihain (1981) #1 Zowe (1985). 

Fletcher (1981) 给 出 了 一 个 求解 复合 NDD 问题 的 信赖 域 
法 ， 关 于 复合 NDO HIE OE i, 如 Burke (1985), 
Hletohor (19822, b), Womersley (1985) 和 Yuan (1983 a, b, 
190845, 19850 .等 ， 我 们 要 在 本 章 后 画 的 几 节 详细 讨论 . 

其 他 还 有 不 少 关于 非 光滑 优化 的 工作 ， 感 兴趣 的 读者 可 参阅 
Balinski 和 Wolfe (1975), Demyanov 和 Dixon{1986), Dixon, 
Spedicato FH Szego(19880), Lemarechal 和 Mifflin (1978), Nur- 
minski(1982), 以 及 Sorensen 和 和 Weta( 1082) 3r fi 
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§10.2 复合 NDOU 的 基本 性 持 


从 现在 起 , RRS RBS NDO 问题 
min ACf (2)), (10.2.1) 


其 中 (D = fala), +, Fm FRESE RI VER, ACs) E^ nm 
I] P eR ae. 
复合 NDO lu oe PS UL E S sd SITUE RE n] 554, 
iti il, Obaralambous 和 Bandler (1976) Charalambous 和 Conn 
(1975, 1978), Held 和 Madsen (1979, 1981), Hornung (1982 
& b, 1983), Madsen (1975), Murray 和 Overton (1930, 1981) 
Osborne Watson(1969), Powell (19840 以 下 Watson (1978, 
1979) 3, "FE RJ HL Bl — "PORE IRI RA E. EOP D 
46 Tí. eal 
oe He Se EN Ee SH 
Aa=b, (10.2.2: 
其 中 ACR, DER” ?34m.lHB.JPfR00.2.2)— 825489. i 
以 我 们 可 取 m HS Ao Fb SARA RE, ULLAS 
需要 求解 
min | As— b], (10.2.3) 


ep lE RE” 中 的 茶 -: 范 数 ， 不 难看 出 ，(10.3.3) 具有 形式 
(10.2.1), $E(10.2.3) P | E ARRA, MAEA x 
sh =Æ (least square ) [Fl & 

复合 NDO 问题 越 来 越 吸引 人 们 注意 的 另 一 个 原因 是 : 一 般 
的 约束 规划 问题 可 通过 I 精确 恒通 煞 改 配 成 一 个 复 台 六 DO [uj 
E 

PFHRNS BRSNDO 问题 的 最 优 性 条 件 . A T BUS, 
我 们 引入 如 下 记号 ， 

xG, do —Rh(f(zx))—A(fF(z)-- (o Fr (10.2.4) 


ood 非 论 请 优化 LETA 


p(w) = mas {x (a, a)}; (10.2.5) 
DF(z,d)e sup d VF) h (10.2.6) 


AE BACT CRT 

其 中 ORCS (a) ) J&d8 im ER AC HE Fe) RADARS. 

定义 10.9.1 mH 

DF(2", d)>0, VàC R^, (10.2.7) 

刚 称 ao” RE BRE ACS (eA A, 

M. Rockafellar (1970, 1981) BD FE Bm. 

2[3210.2.2. 1) DFis, DH —Wl o Wd RHE; 

2) x(o, OB ME o 的 函数 时 是 一 个 此 函数 ; x, DARE 
d AY eT RA, Be d*=0 ABE m d By23 "px X 
D Fn, d), 

3) du(2) 20, Vero, (eo) 一 0 SAR o JE AC flo) E ER. 
RE AA; 

4) du Co) die t BY UT HEY; 

5) db. (aE far 26 sE D 2250 ABE o Bp E AE i. 

ALFA RE, 我 们 可 证 {xxy EXE TARE RNR 2" 等 
价 于 


lim inf dua) =O, (10.2.8) 


下 面 的 引 理 给 出 一 阶 的 必要 条 和 忻 : 
引 理 10.2.3 Mh ot d RANDO 问题 (10.3.47) 的 局 部 极 
小 点 ; z* 必 是 站 Fo 的 稳定 点 . 
证 明 ”对 性 给 的 4EB", hF o 是 (10.2.1) 的 极 小 点 ， 
ht f(a" tat) AC f(a") (10.2.9) 
对 所 有 充分 小 的 a 都 成 立 ， 因 为 有 C') 在 整个 BB* .上 有 定义 上 且 是 加 
BI. Hoe hi St CL Rockafellar, 1970) Mmi (10.2.9) ay 4. 
h( f(a") - a(V f (2) )*4) +0(a) SAC f (a) ). 
(10.2.10) 
FEA 


# 10.2] Ee 和 DO 的 基本 性 质 335. 
limint PLE) Faw fla) )*d) ACF) 36 


a9. a 
(10.2.11) 
[E PAB HE EP] m XCHLCIO. 2, T1) AY E 
max ATO Tæt) )Tdz»0, (10.2,12) 


其 中 Bp 一 BK f(s*)). BFC ME BH, S 从 (010.2.12) BE A 
(10.2, 7) por. MASANE, E 
BO NDO 的 最 优 性 条 件 可 写成 不 同 的 形式 .， 例如 可 把 一 阶 
A UL TEE fEL0.2. 7) EX RC RAS HBR, 
3138 10.2.4 WE o BPS NDO WR (10.2.1) METER i 
小 点 , WM EXE A" C OR, 使 得 
V f(z*)"A*-0. (10.2.18) 
证 明 显然 , RR RT GEBIO0.2.13)8 (10.2 707) 8E De, E 
T. 不 难看 出 , 由 (40.2.13) 可 蕉 出 (10.2.7). 
BA te bE (10.2.7) Mor. 如果 (10.3.13) 不 成 立 , 则 集合 
S —[v FTA NC oR} (10.2.14) 
ABS HR. 出 于 ôk ERE, MOS Hee. FELPE 
Bed, 4 d 是 及 的 法 锥 {normal cons) MAR. MITA 
d" v f(s'"TA-0, VAG BA". (10.2.15) 
HT SA BAIR, (10.2.15) BRE DF (s*, d)z032B8 l8. WF 
Rin MA (0.2.13 8/(10.2.'7)55$ ffr. y 
St T EIS DU tb I SLAP B] HEB — BEATAE fp. AO FRA NDO 
[n] EU TEDER, 
3138 10.2.5 — XI — WAS HR Gc B^ 都 有 
DF(z, d)70, (10.2.16). 
WI ot EE BS AC f(a) By Ja BP EARS AL 
证 明 ”出 (10.2.16) 可 知 存 在 57-0, 使 得 
DF(«c*, d)=5, Vdls=1. (10.2.17%. 
MRSBAH, MEE ro", HA f (oy) KRC FCE). BE 
toc ayy, leja = l, wD H, a,—>0,, 于 起 
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ACFC) -h f (mt) 
=A f(x) (TFT Pay: -a)) hA CF) + 06a) 
oy DE zt*, d,)--0(0) 
ze rolas). (10.2.18) 
DACP a) SACO) MFR. AASER. i 
AY THER [n] REESE A Be a TEZR EE OAC OTT Oe BP 
SRL. OMY Tea BLA AAC+), WAH £X PI ag Et (polyhedral). 
AF) —max(A f t b), (10.2.19) 


AP AC R7,5,€ R^, W (10.2.1) fj PER ETA S 
HIN. dE M, Fletcher 和 Watson (1980), xi F— $ nA s 
NDO 问题 二 阶 最 优 性 条 件 可 见 Burke (1987). 


810.3. fi 5h AX ix 


信赖 域 法 基 一 类 还 代 算 法 ， 给 出 初 值 nR, ARRAT 
列 万 起 产生 点 列 tony, FESS b UR EAR, 有 当前 选 代 点 zw [GE 
径 40 PL nx n 对 称 阵 .Bs， 人 入 吏 域 法 求解 子 问题 


min dy(d) =A 23) + (V f own)") 7d) + d^ By. 


(10.8.1) 
8. v. [dli « Ay, (10.3.2) 
ix + ee RAS ER, dp RRS BI 
CARAS Soy, BLURBS PERS, RD B | | RPE dede 
(10.3.1) 5 (10.3.2) A f Fd d 表示 , APR X b IRA 4 KEP 

(trial step), FRERE ARAA T FA H: 
M -| TS EF (ou) >E (Crt dy); 

Ule mM. 
ix SRT Fa) XR AC f (r2). 

“ETS Ae, FRR ma 的 方式 和 和 Powell (18846) H JT 
a>, 我 们 的 接受 Sua cud, 的 条 件 要 弱 ， 从 丽 更 容易 取 


(10.3.3) 


§ 10.3) È tm agi 


pp =e, +d, AR(10.3.3)89 -AIRRA EE RES RRA 
标 函 数值 下 话说 被 接受 ， A BER SLE ES» BEC 
才 接 受 新 点 。 所 调 “ 足 驶 下降, 一般 古 指 dy UT 
E (ay) — F(a, +d) 

dy (O} — dud) 
APRS EN ERMC Powell, 1984c), RMN IT 
(10.3.2) RAR EE — PRO BJ ECC EE RR Be 
七 无 道理 . 

C18.3.4) 定 闵 的 是 目标 孙 数 的 实际 下 降 量 (astual reduc. 
tion) fü F Mik (predicted reduction) ZW. R— IX 3E AXI 
ici b RET CE 满足 : 

ld, <4.,.<minfeyd,, 4], BJ mimm. (10.8.5) 
Ca [| l| raa nho WI mu eg (0.3.6) 
其 中 cf (6—1, 2, 8, 4) JR IE EIE AWE > 107047762, 091; A> 
0 E- 19872526 EMSS. JE PUB MAR 18 Bg LA. 
类 似 引 理 10.2.4, 224] n] UE dA TAE 
Ax C OAC F Go) FE CV f (7 20), ix € Old], pz 0; 


Tk 


10.3.4) 


使 得 - 
Vf Cay) Apt Brde + pus = 0, (10.3.7) 


wx | Ay — lda] =0. (10.3.8) 
选 定 特定 的 OGURA fo) Bree, Pletcher (1981, 
1982a) 4 th IL FSR AL 10.2. 1) B9] fa TK 
算法 10.3.1 21 BA as, Ao, 4170, 8270 bi — l, 
a 计算 


Ba = 3108-1) V8 flan), (10.3.9) 


sk 8E (10.3.15. 5 (10.3.2), 28 H dy. 
m day «8, DU E 
步 3 计算 ?Tw | 
mE 7,<0.25, WA Apes? = [d] / 4; 
AE 0220.5, E [dx] = An A Anes =2 dys 


aog JEJE te A E [第 十 章 
如 果 dua ERE, WS dyer = Ay, 
we 如 果 rv, 0, MA 5; 
Burt = Wy, Ayt = Ayia; FEA 0; 
Jp B yer = ey tides Ay FC10.3.7) SE Xa 
B66 k=, ipa. 
我 们 现在 分 析 算 法 的 收敛 性 ， 假 定 算法 10.3.1 产生 的 成 列 
{gsx} 有 界 ， 这 一 假定 在 集合 del A GOD SACS ma) AAR R 
BR. FER AAS D, 使 得 


aye D, tE ID, V b—1, 3, «^, (10.3.10) 

HPA ERK Hie4EAMGRIDE"'PAE, RPE Lo 
v. 使 得 

| 站 (六 一 站 | EI £i Fal (10.8.11) 


XI BUS IB fi fac f(D) = {v= le) eE DER Rockatellar, 
1970,35 237 H). Boh AS fix Sup UR D MURAT FE 
常数 M 0. 使 得 
[vf Cn) "lM (10.3.12) 

对 一 切 ec.D APM. 

Fletcher(1981) 利 用 下 面 的 引 理 10.3.2 HEHA T E Eg 10.3.3, 

531 10.3.2 B S ANAWE yr", sz 一 0 的 序列 组 三 
KES, 则 对 所 有 的 c R^ aA 

lim sup PCat sul) Fim) -max d” 7 f Ca") A, 


S AE 

(10.3.13) 

定理 10.8.8 E/O BRERA EIL SRS 10.3.1 
产生 的 点 列 (ou, k=l, -- A, BU our ib dEÉXE — 17 HE a 是 稳 
关于 引 理 10.3.2 $0 5:2810.2.3 AY ERE Wy  Pletcher(1981), 
Fletcher (1981) AFR, We B, PH (10.3.9) mh, ARS 
LBI- GA, WER TER ie. 55b. TTR 
di, RF Fletcher 的 证 明基 基于 特定 的 c. ($—1, 2, 8, 4), 但 从 


$10.3) ig Xn mE d 2239 


TE BH dt dE HH 5 ee ae AU R3EOUR ES uE HE d XR, RI 以 
Fletcher filz ft £5 58. 3j 3862585 EM. 
RMP |B] 一 致 有 界 拥 条 件 放 宽 到 


xk 
Bul «es -t- os 22. 4 (10.8.14) 


其 中 Cy, ce XE DI PIE BK, 
3]38 10.3.4 hd 2010.38.10 500.383.2308. KA 


F(a) -pg Pa (m)min ji, Peet, 


(10.2.15) 
其 中 be (ao) H8 (10.2.4) 5 (10.2.50 Bp XL. 
WEBA Hi dy fp EX 
F (24) — dx (d) > F (ay) — dx(d), 
Y [d] < A, (10.3.16) 
由 (oa X. 存在 dis dus 使 得 
Vra Cry) = E (ay) — Af (my) + Cv f (23) *)* dq). 
(10.8.17) 
TÆ, ACA DO PERI (10.83.16) 可知 
Fas) — dude) > Foy) — dx Coady) 


= x(t, aða) 一 二 a^ dT B, dy 
Saxe, dy) —. al Bel 1d] 


Pater) sol By) dE (10.3.18) 
对 一 切 aE [0, IARE. Wie 
F (a4) — Goulds) > mex [ada 29) ~ 5 a 1241 4} 


1 CACA 
ppm ate), EE) 
(10.3.19) 


PAARL. - 
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Tim EEAS AR K ER 10.3.3 推广 到 以 下 定理 ; 

定理 10.3. EFO 是 两 次 连续 可 微 的 ， 如 果 算 法 10.3.1 
中 B 不 从 (10.8.9) 给 出 但 满足 (0.3.14)， 假 定 算 法 所 产生 的 点 
列 iss, k=l, 2，…} 有 界 , 则 o) 必 存 在 一 个 聚 点 为 稳定 点 . 

证 明 ”假定 定理 不 真 , 则 必 存 在 S>0, 使 得 

fis (ty) 2-9 (10.3.20) 

RW kf. M5 10.2.3 8] 40. 5| 38 10.3.4, RSM 
(10.2.20 fI 4, ROA FREE, 我 们 可 证 


F (ay) — fs (di) er min { Ay, art (10.3.21) 
其 中 CT 是 一 正常 数 . 定义 集合 
S = {E | ree es}, (10.3 22) 
于 是 有 
Pl(m) min F(z)2» 3) LF (ax) — F(a) 
= pà LE (m) — F (Eg) 
20 D LP (e) — $.(4)1. 


(10.3.23) 
Ei 10.3.21). (16.3.23): 801 (10.3 14) FHE 


2 A < +o, (10.3.24) 
cn 05 + 06 >) A: 
i= 


M (19.3.6) 可知 
Aye duo ünJgR Eg S. (10.8.25) 
从 而 不 难 证 明 ( 见 Powell, 1975) 
i C4 t a 
sr arm a (10.8.98) 


PFW (10.83.24) 91 (10.8.26) WHE D dy WS, FAM (10.3.26) 0] 
RUM 4 WR. BOM 1Bsl 一致 有 界 ， 由 定理 10.8.3 知 (10.3.20》 
AAW BML. LF GRAM, — E 


f 10.3) ig Om OE atl 


Yuan (19852) K EEA EARR A PPE Ip Sp. RAE 
RIFU. IHRT 


上 Bi < tte -F Cok. (10.3.27) 
其 中 cs 和 cs 是 两 个 正常 数 .， Yuan(1985e) UEHH T Re 
Soi 
Zi, boo, (10.3.28) 
Jj CH CC TE fa 
lim inf afta {ary ) = U (10 .9 .29) 
其 中 
My—max i Bs] +1, (10.3.30) 


这 实质 上 是 将 Powell (19849) 的 结果 从 光滑 优化 推广 到 了 非 光滑 
优化 ， 条 件 (10 .3.28) 不 能 再 进一步 放宽 了 《网 Powell, 19840), 

Sk Bl 的 有 界 性 和 算法 的 收 伍 性 之 间 的 关系 是 十 分 有 趣 
Bg. 虽然 1 Bo 的 有 界 性 是 算法 收 伍 的 一 个 充分 条 佳 ， 但 | xl 的 
WSR EE BRE BUA BE ARR, HH Powell (09840) 
HJ ER. FLAN, 如 来 点 列 on, A Se PEM. 则 


x By dy: / | dili? (10.3.31) 
WAS I. 
$ F B 的 修正 , 我们 可 今 
£y = d'y (10.8.32) 


yc ZI (MLV fiGns ds) — V fi(m)]. (10.3.33) 


PR Ja F6 Vu 3e p ER SI AELAHU S SET E BAT Au EC. 
3.73 Ej (10.3.8) Ky Fes, 
如 果 ACS) SESS Hr BREE OK (10.22.19), HOO0.8.2) mp fo XC 
i= Heo R ple WU Ta CLO.3.15) 5 (10.3.2) n 4g — iK 
nj EH 
对 于 特殊 情形 ACKf)mf,m-—l Wiehe KS ERAN 
BGR CAS f RAS. PEPE RG, 4EC10.3.2) rp RTER E [LN 
| - lla, 0.3.1) (10.3.2) HD a Gay (1981) 和 Moré 和 


247 3E 26 wR E dC * M 
Borensen (1983). 


$10.4 Zc heen BIT 


A PIP UL TB ee ee, Lb Wa aie 
Ei 3x gc ppc Sc BE TT BE 08 2X PERT. 

由 于 我 们 仅 考 虚 政 训 速 度 ， 在 本 节 中 假定 由 算法 产生 的 上 成 列 
ex UCN F [8] BE 10.2. 1) E — a. 

Powell (1975) XI T JGHH TROE ACh =f, m=1) ŒR TME 
Vf @ IE, A 

| (Br V? f(a") dell =o), (10.4.1) 
gi] 55038839173 D RR. XE SRI, xxr ERO RE, 
下 面 给 出 的 极 大 极 小 问题 表明 信赖 域 法 可 能 仅 是 线性 收 化 

为 了 使 我 们 的 例 于 对 更 多 的 算法 均 成 江 , RRR KEM 
optie WM Te >> Co; 
zx RW. 

其 中 co€ 10, oE ER. TEA H (10.3.3) 就 是 (10.4.2) 当 
ao 一 0 时 的 特殊 情形 ， 这 里 rs 的 定义 仍 由 (10.8.4) 给 出 ， 通 党 ， 
fp ER XE AE EU RA. 

æ (t 10.4.1 

1) esf dul E A 0 Ay 

2) WME ries B) uus cada; 

3) MR reco W Apgar dsl. 

其 中 o ($—1, 2, 3, 4) 和 上 一 市 给 出 的 相同 , BEER 0010 
€427705, 65 1 的 正常 数 ; os 是 满足 ea 呈 os< 工 的 常数 .具体 实用 的 
TEREE BE (EE 小 hr ERA EUTF H: 

æ {t 19.4.2 

1) mR ret; HL j dal = A, 则 Ansa = C1 Tas 

2) 如果 rc Les, e$); BW dys = dy; 

8) dX racen W 4 一 cd 或 4 一 cd 人 | 


Tepi (10. 4.2) 


$ 10.4] SSPE UR ae aga 
湾 足 上 述 条 忻 的 信赖 域 法 是 很 多 的 ， 如 见 Fleteher (1980), 
Moré (1983), Powell (1984d), Yuan (1983.0, Tb) 等. 所 有 这 些 


信赖 域 法 均 要 求 条 件 10.4.1 中 的 2). 我们 发 现 这 一 性 质 就 足够 
TS SA fe Bt BE (Ly ER TEIL aE BF 


我 们 构造 例子 的 基本 思想 是 设法 使 
Oraa = ty dy, (10.4.3) 
TrE (05, C2); (10.4.4) 
(Tr — 2" || — elo — "| (10.4.5) 
X]— 9) k AR ROSE, 是 一 个 小 于 1 的 正和 带 数 ， 
我 们 考虑 极 大 极 小 问题 
min ACF) —min [max 4 fs, fib (10.4.6) 
其 中 s= (u, v)? 
fi= lto u’, (10.4.7) 
fa—-i—v-F(-r- ay, (10.4.8) 


其 中 8 >0 是 一 个 参数 且 洲 足 0<s 志 1， 不 难看 到 (10.4.6) 的 解 
是 让 = (0,0)", 把 问题 40.4.6) 写 成 一 个 约束 优 北 问题 (OQverton,， 
1982), 我 们 可 发 现 相 应 的 Lagrange XET- 


/1 1X 

^ - 3) | 
而 和 且 在 解 处 严格 互补 (strict complementarity) 条 性 和 二 阶 充 分 
条 件 都 满足 , 且 有 


" o 
Go= AUT Fi Ca, et) =| - | (10.4.9) 
i=] 0 0 


于 是 我 们 在 子 问题 (10.8.1) 与 (10.8.2) 14 B,- Gt, Ria 
HL Æ T POE AIR. AIR os, Orat tie d= de E 
(10.8.1) WR, ELS 18s] — 3308 Yr, W o BRAS 
a” SLT 

lim {Fmt Pr Geel , gy (10.4.10) 


kapce | xl 


其 中 了。 是 从 Br" 到 子 空间 id, id) vjfat)-0,$—1, 2; 的 投影 


244 4E HE B 1 AE [Ls dw 
ACTOR Powell (19840) Æ Powell 和 Yuan(1984)). 

我 们 构造 的 点 列 mum (ux, 07 AREE ZEB ER oe — Gu? p, 其 中 
6«1-r-8/2 是 一 常数 ， 我 们 使 uua ones XR EX 2g Pus A 
而 有 

| ae 一 站 一 ,aa | = | [zo m 1a. (10.4.11) 
必得 到 公 线 手 收 和 分 的 例子 从 而 有 以 下 结论 ， 

ib 10.4.3 对 于 性 何 壮 足 式 410.4.3) 和 和 人 条件 10.4.3 中 3 
的 依稀 域 法 对 任意 给 定 的 OR eo esl, 都 存在 ac (0, 1) 使 得 算 
ik 1M A EX FEU o 9 

FR 10.4.3 的 详细 证 明 可 见 Yuan (1984b) ae Yuan 
(1985d), A BRA [EL (10.4.6), Yuan (1984b) 还 证 明了 了 
Fletcher AY fa SUAS CEDE 10.3.1» HERRERA HA P 
45 ith: 

ma 一 easy | (10.4.12 


Wo ELA XS BSE ev BREL ALA B rà EE DC OC PE IC a 38 
A. AURRERA [35 dn pe CBE IE 3X (10.4.25 和 条 
EH 10.4.1) ry ATRE HL BRE Pee Sv. 

从 Yuan (1984b) 28 IB B [P] T 3p npo xd, dor a Ee ae E 
度 方 而 起 了 和 拒 类 作用 .事实 上 , 对 于 许多 信赖 域 方法 , 信赖 域 约 宁 
不 积极 : 即 di < 4 是 短 法 超 线 性 收 伍 的 一 个 必要 条 件 ， 而 且 在 
一 定 条 性 下 ， 信 玖 域 约束 不 积极 也 荐 超 线 性 收 敏 的 一 个 充分 条 忻 
Cin Gi Fleteher (1980), Powell jfi Yuan (19854), ÆRMER 
KRAT (10.4.8) rp, ER T BRIAR fS SI 25 Be By A AR FH, 
Powell 和 Yuan (1984) 2$ iy PAR PLE EL PEM ae ZR EE 所 
以 , fe RUER ARR PAT PER TO a £g TET o E. 

TERI ERTER A B — TS DD Ree: sg STR. 
ETH THI AP =f, m=1), RIN 


f (axt du) =f (a) + db V f (0) + dE Bu dy + o(| 4,19), 
(10.4.18) 


§ 10.5] — ^r EB e EE he E 445 


其 中 假定 B; 满足 (10.4.1)， 从 而 由 (10.4.18) 即 可 知 rz, BE 
而 可 证 明 超 线性 收 贫 (Powell，1975)， 但 是 , 对 于 非 光滑 问题 , 关 
系 式 


hf (soda) =h F Gn) + (VF (oe)? + dE Brd 


Fed; |?) (10.4.14) 
一 般 不 成 立 , 即使 B= Ga (10.4.14) 也 可 能 不 真 ， 于 基 当 {sw} iE 
H LACH GG) ~ ACF C2") )) = O(a, — ol?) 的 方向 路人 就 于 时 ， 
{1I0.4.14) 的 误差 可 导致 7 二 68， 从 而 信赖 域 半径 被 入 小， 因此 会 
Bi X D eR Ed SL 
5 — PREX TE WE BUT TB A AR BG TUERI Se 1 TEE SEI? ( Maratos 
eect) F428 (Ll, ELE ff (10.4.6) — (10.4.8), Yuan (1984b) 
P3 X3 1H AP {zx} 其 有 下 列 性 质 ; 在 第 2b RRR, 求 出 的 试探 步 Ga 
EAE Ze TENE SP, 即 


—. p | 
| Bete + a M | 一 > 0, (10.4.15) 
| aas — ^i 
(B A Tex. Ü, TEA 

ak = Ery (10.4.16) 
Assam = Mul (19.4.17) 

在 第 Ob +1 AA 
ET EE tUe (10.4.18) 
Axio | dapil = Dons = | Toppe | wo, (10.4.19) 


Bia 45-59] — ER PY Ae £X EU PS S ns. 


810.5. —- id E te kA 


本 节 讨 论 一 个 二 阶 被 正 步 (second order correction step) 的 
EMRE. TRH Pletcher (108250 提出 的 ， 所 以 在 栗 节 中 
我 们 采用 Fletcher (1982b) Big. 


246 JE XE $98 oR (S [2+ 


考虑 的 极 小 值 问题 是 复合 NDO 问题 
min F(a) =F (2) -(e(2)), (10.5.1) 


其 中 了 (ww?) 是 BE* A FEA HT S we BE 0(22 48 R^ 到 E" 的 二 
TREE WI GREG Co) dE R^ rp Bg 2r Mr APER (polyhedral 
convex funotion ). 

Alc) = max (y e+ 5,5, (10.5.2) 


hi (61, e, LAO: Gsh ce, DSA EAE RAR, 
这 类 特殊 形式 的 复合 NDO 问题 (10.5.1) 与 (190.5.3) BAT 
的 一 个 主要 原因 是 L 精确 问 函 数 可 表示 为 这 种 形式 . 

二 有 阶 校 正 步 方法 基本 上 和 算法 10.3.1 一样, A fe BER 
中 多 解 一 个 二 阶 校正 子 问题 而 已 。 在 第 次 迁 代 ， 假 定 ow& BR", 
A,C R^, 4,70 已 具有 , 算法 知 求 解 子 问题 


min pld) — Qd) + hut Ard) (10.5.3) 
8. b. lal] < Ay. (10.5.4) 
其 中 
Qud) = gd+ > a und, (10.5.5) 
x= VAF) EE OV ele) (10.5.8) 
We = gm) = V fex), 


O= a ag), Au (m) = (V c(2)7)7. 
i d, E (10.5.8) 5 (10.5.4) B9 fg. AEX 
poo Fn) — F(t dy) 
dx (0) — dx dy) 
ERT, 算法 需要 求解 下 面 的 "一 阶 校正 ” 子 问 题 . 
min du(d) = Qe (dut d) +A Celor tda) + Aud), 
(10.5.8) 
s. t. Ad, - d] < dy. (10.5.9) 
i dy 35 (10.5.8) (10.5.90 K, 定义 


(10.5.7) 


§ 10.5] 


— ae S FEM E NC HE JAT 
0 一 CAO. — falda) 
Te Te F BelO) — (dy 4 (10.5.10) 
- Fn) — F (ay d, + dy) 
" yO) — byl dy} 


(10.5.11) 


Tax EE. — B EIE fà d 3E IA HIE INST IE A: 
算法 10.5.1 


3b i 
x 2 


ips 


ip 4 


ip 5 


jp 6 


ox 
3S8 


ip9 


给 出 ri Ao, d2>>0, 8220, kiel, 

aK i (10.5.3) 5; (10.5.45, 给 出 du; MR [di «e. 则 
Ft 

计算 nuo WE 0420.75, MeF 8; 44(10.5.8) 55 (010. 
5.9), 给 出 dui 计算 re, 如 果 0.0.25, 则 转 步 于 

加 果 es” E O.S, 1.1], WP 9; derim 2da HEA 20; 
如 果 rf? d [0.'T5, 1.25], WHP 6; 计算 m. du: — duo 
du Put =F, WHE 0.270. 75, MAE 8; 如果 42-0 25. YN 
Hee 9; 

^" Aged], wE 0.1, 0.5], MR r0, eum 
10, 

Dept = Ba; 计算 An $€3p 11; 

W [dup «ds 由 转 步 9; WE 0,77 0.9, M) Arpi dass 
RM, dua m 2d; 4B 2p 10; 


App = Ay; 


步 10 tepi tr- Oy; 计算 As 
步 革 下: 一 下 二 二 ta, 
在 算法 的 步 6 中 , ow 是 as 的 一 个 近似 情 计 ， 这 里 ox 是 使 得 


py akip) = ; min FG, + auda) (10.5.12) 


ERPE. 关于 es ff] — FE GRUT S n] 9 Fletcher (1982p). 
另外 ,在 步 了 $ü2b 10 A FET A, BART IR] REL COLO 5.3) Ej (10.5.4) 
5m oj8H8 10.5.8) 5 (10.5.9) Lagrange RT. 
Se B5 dx Fir MES GO, Fletcher (1982b). RTA 
PERK RAB, HS HORS ER dd ox So", 面 


24g iE JE tL E [第 十 章 
Aid: ERM TIGE. 
f= 10.5.2 
1) FDF oa) 2g — UX SE nn hs 
25 Rank (.A") = m; 
3) hte(2*)) — Ah o(z*) +6; SHA 9-1, o, T RRA, 
4) Pg TR AR PETIT BEEF AR EAE m" 处 成 立 . 
H F A RIRE XS 不 难 证 明 


oh” = [a= E380, > 4-1. (10.5.13) 
‘= zl 
出 假定 10.5.3 的 3 可 知道 存在 唯一 的 Lagrange RT 2^, [E 
A OR", AL 
gt + Ath —0, (10.5.14) 


我 们 这 日 所 说 的 二 阶 充分 条 件 是 指 ; 对 任何 
d€G*- (d, max d"[g + A =0, d+ (10.5.15) 


oa 0, (10.5.16) 
其 中 
W*'—wv*f(z*) 十 之 1 (10.5.17) 


-D DAE. dx BUB ZAKA & fe A EE 
FR, 则 必 有 oy, ORAN m" CR. Fletcher, 1983b). 但 是 , 从 上 一 
PW BLS a] Al, 超 线 人 性 疏 仇 的 关键 在 于 信和 床 域 绝 东 是 和 理 是 积极 的 . 
Fun 我 们 证明 只 要 Lagrange FEF RAH RS, NAA AK 
B 5 MRR AR Se Be, M ay Be eT Pe a. 

34145 EER HE TET As 满足 

lim A= A", (10.5.18) 


ko 


(dit Lagrange ÆT Ay ELS, 如 见 Murray ff Overton (1980, 
1981), 另外 , 简单 地 令 M 是 问题 

min | ga -F Az | 9 (10.5.19) 
HIRERE TAE (10.8.18)}， 有 所 以 在 直面 我 们 假定 (10.5.18) 恒 成 
立 ， 值 得 指出 的 是 , Fietoher (1989b) 提 出 的 选取 各 的 方法 不 一 


§ 10.57 — ANB £e Wr Or B "49 ， 
SES JE (10.5.18). 
sim 10.5.3(Fleteher, 19820) ZERA 8,0, EBE r* 
为 中 心 的 一 个 小 邻 域内 都 有 
Fg) Fae | (10.5.20) 
S'y8 10.56.40 Yuan, 1985b) WHE oC (0, 1)， 存 在 一 个 
By a" 为 中 心 的 小 邻 域 , 使 得 对 该 邻 坡 内 的 w 均 有 
F(s)- min LF(as)-Fg(e)'d-Ch(o(e) + Alay") ] 
oo F (2) — F(m*)]., (10.5.21) 
"im 10.5. D5( Yuan, 1985b) Ed, Æ (10.5.3) E(10.5.4) 
的 解 , d; 3E (10.5.8) 5 10. 5.9) B AE. 则 必 有 
1) [dul = O(N — a"); 
2) ldai — Oe —2* ); 
3) d: (00 — dx ( dy) dalde, 832-0 dE— Tr T8 2G 
4) ri > L; 
5) 对 任何 9:1 ELE WE JE ry, x 0s BTA Unt 都 有 
[ds = oC hide), (10.5.22) 
lim Py, 1, (10.5.23) 


推论 10.6.6 对 所 有 充分 大 的 下 都 有 dua d. 
证 明令 引 理 10.5.5 RÈI 85.4—0. 75, Wl ADU TEARS E, 如 
Ht rQ«20. Tb, WA 
rc [0.9, 1.1], (10.5.24) 
re [0.9, 1.1]. (10.5.25) 
于 是 出 算法 可 车 dui. 
1:38 10.5.7 HE 10.5.1 产生 的 点 多 {ww} WESCT xs E 
定 10.5.2 成 立 , EL7E (10.0.18) oz, 则 oy, ER EX VEI AT 2", 
证 明 ”由 推论 10.5.6 Mee 50, 使 得 
A by (10 a .26) 
XF—U) Ek dERRXL. KSI 10.5.5 B 1) Ad] Oo. FEHMA 
充分 大 的 总 dB 


350 3E 3678 o6 tC [Me 1E 


TEE Ba Ay, (10.5.2) 


所以 对 所 有 充分 大 的 天 ren 是 积极 的 。 由 Fletcher 
(1982b) 的 结果 可 证 


Et =O(mex[lz.—a*l, lAr a]. 


[| — "| 
(10.5.28) 
AOI s A RERA Fo", E 
Hit 10.5.8 Ma, HO0.5.19)EX, W x L— DOE eT 
zx 
WEB] HF A 是 殉 满 获 的 , 所 以 对 充分 大 的 到 均 有 
Jug = — (Ar) ga. 
因为 = —(A*)*9* LAT 列 满 秩 ;我们 有 
W he — A = OC OO— ae"). (10.5.29) 
HBi(10.5.28)$1(10.5,.29) HIA ax IRRA. u 
宵 加 修改 Yuan (19850) BY PEAR, 不 难 证 明 在 算法 中 ws FUR 


RL 
ByQ—W'*, a i> o2 (10.5.80) 


的 矩阵 B, (CHREN AERA E RR. qu ER eF 
(10.5.30) 还 可 放宽 到 对 4 一 十 2, 3 有 
| (B,— Ws A? > 0. (10.5.31) 
其 中 si" = dy, zP = dy, u$? = 2, — 2", 
在 实用 算法 中 , B. 可 出 第 西 章 崔 拍 牛 顿 公式 修正 产生 Be 
PSB 公式 对 于 非 光 消 回 题 县 有 以 下 形式 : 


By -一 By m "yk T Sm T us 一 re SuSiS 1 ( 10 ` 5 “ 39) 
EIE | Sx 12 


_ [aut de 如 果 Pera aut di da 
t d, 否则 . 
f» = G Drt 82) — gm) — Bade 


+ (2% +S) — V clay], (10.5.34) 


其 中 
(10.5.33) 


$ 10,5] — "£8 £y tE str TREE 251 


我 们 建议 用 PSB EZ ARP MISSE 75 £3 E 
UC ACA f E USER RUP CH, Pdmell, 1975). 

WAR (10.5.45 $8 (10.5.9) rg Ss AC LA s 10.5 .3) 
5 (10.5.4) m(19.5.8)5 (10.5.9 dB n] ARRAYA. H. 
ix pur iO XE p B E ERES dE A A. A EL JD 
来 ; RAR (10.5.3) 5 (10. 5.4) 2 5, HOT (10.5.8) 55 (10.5.9) 
的 解 所 项 的 计算 量 不 大 ， 

我 们 证 明 的 超 线 性 收 伍 结果 是 基于 二 阶 充分 条 件 贞 及 Vola") 
=L 9 线性 无 闫 显而易见 ,二 阶 充 分 条 件 是 证 明 超 线性 
We S BER AN AY ES. dRGEPIRGADUH Valat Gel, «+, m) 线性 无 
关 这 一 条 性 也 不 能 放宽 ， 
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